[논문 리뷰] Exploiting Sentential Context for Neural Machine Translation

Xing Wang, Zhaopeng Tu외 2명|arXiv (Cornell University)|2019. 06. 04.

Natural Language Processing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 영어-독일어 및 영어-프랑스어 벤치마크에서 Transformer 디코더에 글로벌 소스 측 문장 표현을 통합하여 신경 기계 번역 성능을 향상시키기 위해 얕고 깊은 문장 수준의 맥락 메커니즘을 제안한다. 최상위 레이어 또는 다중 레이어 인코더 출력을 활용하여 맥락 벡터를 구성함으로써, 모델은 번역 성능을 향상시켰으며, 특히 깊은 맥락 전략이 항상 얕고 기존의 베이스라인을 능가하였다.

ABSTRACT

In this work, we present novel approaches to exploit sentential context for neural machine translation (NMT). Specifically, we first show that a shallow sentential context extracted from the top encoder layer only, can improve translation performance via contextualizing the encoding representations of individual words. Next, we introduce a deep sentential context, which aggregates the sentential context representations from all the internal layers of the encoder to form a more comprehensive context representation. Experimental results on the WMT14 English-to-German and English-to-French benchmarks show that our model consistently improves performance over the strong TRANSFORMER model (Vaswani et al., 2017), demonstrating the necessity and effectiveness of exploiting sentential context for NMT.

연구 동기 및 목표

• 글로벌 문장 수준 맥락을 신경 기계 번역에 통합하여 번역 품질을 향상시키는 데 효과적인지 조사하기 위해.
• 인코더 레이어에서 유도된 소스 측 문장 수준 표현이 통합적인 문장 이해를 제공함으로써 디코딩을 향상시킬 수 있는지 탐색하기 위해.
• 더 풍부한 문맥적 구조 및 의미 정보를 포착하기 위해 얕은(최상위 레이어) 및 깊은(다중 레이어) 문장 수준 맥락 전략을 비교하기 위해.
• 풍부한 맥락 표현이 더 나은 언어 지식 인코딩과 번역 성능 향상으로 이어지는지 검증하기 위해.

제안 방법

• 전역 풀링 함수를 사용하여 유일하게 최상위 인코더 레이어의 표현을 요약하여 얕은 문장 수준 맥락을 제안한다.
• 모든 인코더 레이어의 문장 수준 표현을 연결하고 피드포워드 네트워크를 통해 통합함으로써 깊은 문장 수준 맥락을 도입한다.
• 전용 피드포워드 네트워크를 통해 각 레이어에서 디코더의 은닉 상태와 맥락 벡터를 연결하여 맥락 벡터를 디코더에 통합한다.
• NMT 및 맥락 표현 구성 요소를 공동 최적화하여 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 기존 베이스라인과 동일한 Transformer 아키텍처를 사용하며, 디코더 입력에 맥락 벡터를 추가로 포함시키는 방식으로만 수정한다.
• 모든 디코더 레이어에 맥락 주입 메커니즘을 적용하여 디코딩 중에 글로벌 문장 정보에 일관되게 접근할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 인코더에서 유도된 전역 문장 수준 맥락 벡터를 통합함으로써 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 단지 최상위 인코더 레이어만 사용하는 것(얕은 맥락)이 표준 Transformer보다 의미 있는 향상을 이끌 수 있는가?
• RQ3 모든 인코더 레이어의 표현을 통합하는 것(깊은 맥락)이 얕은 맥락보다 더 높은 성능을 낼 수 있는가?
• RQ4 제안된 맥락 표현 방식이 문장의 문법적·의미적 특성과 같은 언어 지식을 얼마나 잘 반영하는가?
• RQ5 문장 수준 맥락의 개선 효과가 다양한 언어 쌍과 번역 작업 간에 일관되게 나타나는가?

주요 결과

• 깊은 문장 수준 맥락 전략은 WMT14 영어-독일어 및 영어-프랑스어 번역 작업에서 모두 가장 높은 BLEU 점수를 기록하여, 기존 Transformer 및 얕은 맥락 변형을 모두 능가하였다.
• 영어-독일어 번역 작업에서 깊은 맥락 모델은 BLEU 점수 30.76을 기록하여 기존 베이스라인 Transformer(30.52)와 얕은 맥락(30.62)을 모두 초월하였다.
• 영어-프랑스어 번역 작업에서 깊은 맥락 모델은 BLEU 점수 37.25를 기록하였으며, 기존 베이스라인(37.10)과 얕은 변형(37.18)보다 높았다.
• 언어학적 프로빙 작업 결과, 깊은 문장 수준 맥락은 의미 프로빙 작업에서 성능 향상을 보였으며(75.32 vs. 74.61), 더 나은 의미 정보 인코딩을 의미한다.
• 얕은 맥락은 오직 의미 프로빙 작업에서만 향상되었으며(75.33 vs. 74.61), 이는 표면적 특성이나 문법적 특성보다 더 많은 의미적 정보를 포착하고 있음을 시사한다.
• 깊은 맥락 표현은 모든 프로빙 카테고리 평균 정확도 75.32를 기록하여 얕고 기존 모델 대비 더 풍부한 언어 표현을 제공함을 확인하였다.