[논문 리뷰] Training Deeper Neural Machine Translation Models with Transparent Attention

Ankur Bapna, Mia Xu Chen외 3명|arXiv (Cornell University)|2018. 08. 22.

Natural Language Processing Techniques참고 문헌 26인용 수 16

한 줄 요약

이 논문은 디코더가 상위 레이어 외에도 모든 인코더 레이어 출력의 가중 조합을 참조할 수 있도록 허용함으로써 딥 네럴 기계 번역 모델의 기울기 흐름을 향상시키는 Transparent Attention를 제안한다. 이 기법은 20층에 이르는 더 깊은 Transformer 및 Bi-RNN 인코더의 성공적인 훈련을 가능하게 하며, WMT’14 En→De 및 WMT’15 Cs→En 벤치마크에서 일관된 0.7–1.1 BLEU 향상을 이끌어내며 최적화 안정성과 깊은 모델의 성능을 향상시킨다.

ABSTRACT

While current state-of-the-art NMT models, such as RNN seq2seq and Transformers, possess a large number of parameters, they are still shallow in comparison to convolutional models used for both text and vision applications. In this work we attempt to train significantly (2-3x) deeper Transformer and Bi-RNN encoders for machine translation. We propose a simple modification to the attention mechanism that eases the optimization of deeper models, and results in consistent gains of 0.7-1.1 BLEU on the benchmark WMT'14 English-German and WMT'15 Czech-English tasks for both architectures.

연구 동기 및 목표

• 12층을 초과하는 매우 깊은 신경 기계 번역 모델을 훈련하는 데 도전하는 데서, 표준 어텐션 메커니즘이 기울기 흐름이 열악하여 실패하는 문제를 해결하기 위해.
• 기본 어텐션 메커니즘의 수정을 통해 모든 인코더 레이어를 통한 직접적인 기울기 경로를 지원함으로써 딥 Transformer 및 Bi-RNN 인코더에서 최적화 안정성을 향상시키기 위해.
• 넓은 모델 대비 더 깊은 아키텍처가 번역 성능을 향상시킬 수 있는지 여부를 조사하기 위해, 훈련의 어려움이 증가함에도 불구하고.
• 향상된 기울기 흐름이 표준 NMT 벤치마크에서 일관된 성능 향상을 이끌어내는지 검증하기 위해.

제안 방법

• N은 인코더 레이어 수이고 M은 디코더 어텐션 모듈 수인 (N+1)×M 크기의 학습 가능한 가중치 행렬 W를 도입하여 모든 인코더 레이어에 대한 어텐션 가중치를 할당한다.
• 각 어텐션 헤드 j와 레이어 i에 대해 softmax 정규화를 적용하여 어텐션 분포 s_{i,j} = exp(W_{i,j}) / Σ_k exp(W_{k,j}) 를 생성한다.
• 모든 레이어 i에 걸쳐 인코더 은닉 상태 h^i_t의 가중 조합 z^j_t = Σ_i s_{i,j} h^i_t 를 계산하여, 디코더가 상위 레이어만이 아닌 모든 레이어를 참조하도록 한다.
• RNMT+에서 어텐션 이전에 가중 조합에 프로젝션을 적용하여 원래 아키텍처와의 호환성을 유지한다.
• 학습 중에 가중치 행렬 W에 드롭아웃을 적용하여 학습 안정성 확보 및 어텐션 가중치에 대한 과적합 방지.
• 표준 WMT’14 및 WMT’15 데이터셋을 사용하여 서브워드 토크나이제이션과 공유된 32k 어휘를 적용하고, 8개의 P100 GPU에서 동기화된 기울기 업데이트를 사용하여 Adam 옵timizer로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 표준 어텐션 메커니즘이 12층을 초과하면 실패하는 상황에서, 더 깊은 Transformer 및 Bi-RNN 인코더가 Transparent Attention를 통해 성공적으로 훈련될 수 있는가?
• RQ2 모든 인코더 레이어에 걸쳐 가중치가 학습 가능한 어텐션 메커니즘을 도입함으로써, 깊은 모델에서 기울기 흐름과 최적화 안정성이 향상되는가?
• RQ3 Transparent Attention를 적용한 더 깊은 모델이 표준 넓은 모델 대비 번역 품질과 파라미터 효율성 측면에서 어느 정도 뛰어나게 성능을 내는가?
• RQ4 학습 과정에서 어텐션 가중치의 분포는 어떻게 변화하는가? 그리고 이는 인코더 레이어 간 앙상블 유사 행동을 반영하는가?

주요 결과

• 기본 Transformer 모델은 12층 이상의 인코더 레이어를 가질 경우 훈련에 실패하지만, Transparent Attention를 통해 최대 20층의 인코더 레이어를 성공적으로 훈련할 수 있다.
• WMT’14 En→De 및 WMT’15 Cs→En 번역 작업에서 모든 깊이 설정에서 일관된 0.7–1.1 BLEU 포인트 향상을 달성한다.
• 20층 인코더와 Transparent Attention를 적용한 모델는 모델 용량이 절반 미만인 표준 Transformer Big보다도 뛰어난 성능을 보인다.
• 어 attention 가중치 s_{i,j} 는 초기 학습 단계에서 낮은 레이어(예: 임bedding 및 초기 레이어)가 더 높은 어텐션을 받는 반면, 학습이 진행됨에 따라 더 깊은 레이어(예: 16 및 20층)가 두각을 나타내며, 이는 동적 특징 통합을 시사한다.
• 기울기 노름 비율(r_t) 플롯은 Transparent Attention가 훈련 동역학을 안정화시키며, 잘 훈련된 RNMT+ 모델과 유사한 특성을 보이며 기울기 소실 효과를 감소시킨다.
• 성능 향상의 일부는 암묵적 앙상블 효과에 기인하며, 여러 인코더 레이어의 표현이 어텐션을 통해 동적으로 통합되어 BERT와 같은 컨텍스트 기반 임베딩 모델과 유사한 방식으로 작용한다.