[논문 리뷰] Depth-Adaptive Transformer

Maha Elbayad, Jiatao Gu외 2명|arXiv (Cornell University)|2019. 10. 22.

Neural Networks and Applications참고 문헌 18인용 수 61

한 줄 요약

이 논문은 중간 디코더 레이어에서 예측이 가능하도록 적응적 디코딩 깊이를 갖춘 Transformer 기반 시퀀스-투-시퀀스 모델을 확장하고, 언제 종료할지 학습하여 속도와 정확도 간의 균형을 맞춘다. 번역 작업에서 품질의 손실은 거의 없거나 아예 없으면서도 상당한 속도 향상을 보인다.

ABSTRACT

State of the art sequence-to-sequence models for large scale tasks perform a fixed number of computations for each input sequence regardless of whether it is easy or hard to process. In this paper, we train Transformer models which can make output predictions at different stages of the network and we investigate different ways to predict how much computation is required for a particular sequence. Unlike dynamic computation in Universal Transformers, which applies the same set of layers iteratively, we apply different layers at every step to adjust both the amount of computation as well as the model capacity. On IWSLT German-English translation our approach matches the accuracy of a well tuned baseline Transformer while using less than a quarter of the decoder layers.

연구 동기 및 목표

• Fixed computation 을 seq2seq 모델에서 줄이기 위한 깊이-적응 디코딩 활성화.
• 시퀀스당 또는 토큰당 배치를 예측하기 위한 배치 깊이 예측 메커니즘 개발.
• Transformer에서 안정적인 동적 계산을 위한 정렬된(Aligned) 대 혼합(Mixed) 학습 규칙 탐구.
• 속도-정확도 트레이드-오프를 최적화하기 위한 다중 종료 분류기와 학습 타깃 탐색.
• IWSLT 및 WMT 번역 벤치마크에서의 효과성 시演示.”

제안 방법

• 각 디코더 블록의 출력에 종료 분류기를 부착하여 여러 깊이에서 예측 가능하게 함.
• 조기 종료를 사용할 때 학습-추론 간의 불일치를 처리하기 위해 정렬된(Aligned) 또는 혼합된(Mixed) 학습 사용.
• 시퀀스-또는 토큰-특정 깊이에 대해 종료 확률 q_t(n)을 모델링하고 종료 기반 오라클에 대해 학습.
• 디코딩 손실과 종료 손실을 스칼라 α 로 결합하여 속도-정확도 트레이드-오프 제어.
• 시퀀스-특정 깊이(다항식 및 기하형 종료)와 토큰-특정 깊이(다항식 및 기하형 종료) 실험.
• 표준 Transformer 베이스라인과의 비교를 위해 IWSLT’14 De-En 및 WMT’14 En-Fr에서 평가

실험 결과

연구 질문

• RQ1 Transformer 디코더가 전체 모델 재학습 없이 중간 계층에서 출력을 내놓을 수 있는가?
• RQ2 신경 기계 번역에서 최고의 속도-정확도 트레이드-오프를 제공하는 깊이 예측 메커니즘은 무엇인가?
• RQ3 정렬된 학습과 혼합 학습 규칙이 동적 깊이 모델의 성능과 안정성에 어떻게 영향을 미치는가?
• RQ4 어떤 종료 분류기 디자인(다항식 대 기하형)과 오라클 가이던스가 디코딩 효율을 최적화하는가?
• RQ5 깊이-적응 접근법이 작은 규모(IWSLT)에서 큰 규모(WMT) 번역 작업으로 확장될 때의 효과는 무엇인가?

주요 결과

모델	n=1	n=2	n=3	n=4	n=5	n=6	평균 BLEU
베이스라인	-	34.2	35.3	35.6	35.7	35.6	35.4
정렬된(ω=1)	35.5	34.1	35.5	35.8	36.1	36.1	35.6
혼합 M=1	34.1	32.9	34.3	34.5	34.5	34.6	34.5
혼합 M=3	35.1	33.9	35.2	35.4	35.5	35.5	35.2
혼합 M=6	35.3	34.2	35.4	35.8	35.9	35.8	35.5

• 적응적 깊이는 IWSLT De-En에서 6-계층 Transformer의 정확도에 필적하면서도 3개 미만의 디코더 블록을 사용할 수 있다.
• 정렬된 학습은 고정 종료 및 임의 종료 시나리오 모두에서 혼합 학습보다 우수하며 계산적으로 효율적이다.
• 토큰-특정 깊이와 기하형 종료 및 정답 기반 오라클은 강력한 속도-정확도 트레이드를 제공하여, 적은 블록으로도 기준 BLEU에 근접하거나 이를 상회한다.
• WMT’14 En-Fr에서 적응적 깊이 방법은 최고 베이스라인 근처의 BLEU를 달성하되 디코딩 블록 수가 40-60% 감소하며, 작은 작업만큼의 이득은 크지 않다.
• 신뢰 임계 종료는 큰 어휘에서 per-token 분류기 오버헤드가 증가하더라도 전체 모델 정확도와 큰 속도 향상을 달성할 수 있다."