[논문 리뷰] Exploiting Deep Representations for Neural Machine Translation

Zi-Yi Dou, Zhaopeng Tu외 3명|arXiv (Cornell University)|2018. 10. 24.

Natural Language Processing Techniques참고 문헌 30인용 수 24

한 줄 요약

이 논문은 계층적 레이어 집합과 다층 주의 메커니즘을 통해 인코더 및 디코더의 모든 레이어에서 깊이 있는 표현을 활용하고, 다양성 정규화 손실을 추가하여 각 레이어가 서로 다른 정보를 캡처하도록 유도함으로써 신경 기계 번역을 향상시키는 방법을 제안한다. 실험 결과, WMT14 En→De와 WMT17 Zh→En에서 각각 +0.54 및 +0.63 BLEU 향상이 이루어졌으며, 더 작은 모델이 더 큰 기준 모델보다 성능이 뛰어나다.

ABSTRACT

Advanced neural machine translation (NMT) models generally implement encoder and decoder as multiple layers, which allows systems to model complex functions and capture complicated linguistic structures. However, only the top layers of encoder and decoder are leveraged in the subsequent process, which misses the opportunity to exploit the useful information embedded in other layers. In this work, we propose to simultaneously expose all of these signals with layer aggregation and multi-layer attention mechanisms. In addition, we introduce an auxiliary regularization term to encourage different layers to capture diverse information. Experimental results on widely-used WMT14 English-German and WMT17 Chinese-English translation data demonstrate the effectiveness and universality of the proposed approach.

연구 동기 및 목표

• 깊은 NMT 모델에서 중간 레이어 표현이 제대로 활용되지 않는 문제를 해결하기 위해, 일반적으로 최상위 레이어 출력만을 사용하는 경향이 있음을 다루는 것.
• 최종 레이어뿐 아니라 모든 인코더 및 디코더 레이어 간의 정보 융합을 통해 번역 성능을 향상시키는 것.
• 보조 정규화 항을 통해 각 레이어가 서로 다른, 중복되지 않는 특징을 학습하도록 유도하는 것.
• 이 방법의 효과성과 일반화 능력을 다양한 언어 쌍과 모델 아키텍처에 걸쳐 검증하는 것.

제안 방법

• 모든 레이어에서 같은 위치의 은닉 상태를 통합하여 풍부한 표현을 형성하는 계층적 레이어 집합을 도입한다.
• 다양한 위치와 레이어 간의 정보 융합을 가능하게 하는 다층 주의 메커니즘을 구현하여 맥락 모델링을 향상시킨다.
• 레이어 간 특징 유사도를 방지하는 정규화 항을 제안하여, 서로 다른 정보 캡처를 촉진한다.
• 모델의 인코더 및 디코더 스택에 모두 적용 가능한 방법으로, Transformer 아키텍처에 적용한다.
• 기존 Transformer와 동일하게 잔차 연결과 레이어 정규화를 사용하여 학습 안정성을 유지한다.
• 표준 교차 엔트로피 손실과 추가적인 다양성 정규화 항을 함께 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 모든 인코더 및 디코더 레이어의 표현을 융합하면 신경 기계 번역 성능이 향상되는가?
• RQ2 다양한 위치와 레이어 간의 정보 융합을 가능하게 하는 다층 주의 메커니즘이 더 나은 번역 품질을 이끌어내는가?
• RQ3 레이어 간 다양성을 유도하는 정규화 항은 깊이 있는 표현의 유용성을 향상시키는가?
• RQ4 제안된 방법은 다양한 언어 쌍과 모델 아키텍처에 일반화되는가?

주요 결과

• 제안된 방법은 WMT14 영어→독어 번역 작업에서 기존 Transformer보다 +0.54 BLEU 포인트 향상되었다.
• WMT17 중국어→영어 번역 작업에서, 방법은 기준 모델보다 +0.63 BLEU 포인트 성능 향상을 이뤘다.
• 깊이 있는 표현을 활용한 더 작은 Transformer-Base 모델이 더 큰 파rameter 수를 가진 기존 Transformer-Big 모델보다 성능이 뛰어났다.
• 시각화 결과, 모델이 집합 과정에서 하위 레이어를 효과적으로 활용하고 있음을 확인하여, 성공적인 레이어 간 융합이 이루어졌음을 시사한다.
• 다양성 정규화는 모든 레이어의 기여도를 더 균형 있게 만들며, 상위 레이어의 지배적 영향을 줄였다.