[논문 리뷰] Using Whole Document Context in Neural Machine Translation

Valentin Macé, Christophe Servan|arXiv (Cornell University)|2019. 10. 16.

Natural Language Processing Techniques참고 문헌 25인용 수 25

한 줄 요약

이 논문은 사전에 계산된 문서 임베딩을 통해 전체 문서의 맥락을 통합함으로써 신경 기계 번역(NMT)의 성능을 햖थन하는 단순한 비아키텍처 기반 방법을 제안한다. 전체 문서의 단어 벡터를 SWEM-aver 방식으로 평균화하여 고정된 크기의 벡터로 만들고, 이를 트랜스포머 모델에 통합함으로써 번역의 일관성 향상과 문장 간 모호성 해소가 가능해지며, 영어-독어 번역 작업에서 최대 0.85 BLEU 향상, 영어-프랑스어 및 프랑스어-영어 작업에서 1 이상의 BLEU 향상을 달성한다.

ABSTRACT

In Machine Translation, considering the document as a whole can help to resolve ambiguities and inconsistencies. In this paper, we propose a simple yet promising approach to add contextual information in Neural Machine Translation. We present a method to add source context that capture the whole document with accurate boundaries, taking every word into account. We provide this additional information to a Transformer model and study the impact of our method on three language pairs. The proposed approach obtains promising results in the English-German, English-French and French-English document-level translation tasks. We observe interesting cross-sentential behaviors where the model learns to use document-level information to improve translation coherence.

연구 동기 및 목표

• 표준 NMT에서 문서 수준의 맥락이 부족해 번역이 일관성 없이 이루어지는 문제를 해결하기 위해.
• 모든 NMT 모델이 아키텍처 변경 없이 전체 문서 맥락을 활용할 수 있도록 비침습적이고 사전 처리 기반의 방법을 탐색하기 위해.
• 전체 문서 임베딩이 '대명사 해석'이나 '어휘의 다의어 해소'와 같은 맥락 의존적 현상의 번역 향상에 기여하는지 평가하기 위해.
• 문서 수준의 맥락이 특히 모호하거나 논의적 요소가 중요한 경우에 번역 품질을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 문서 내 모든 단어 벡터를 평균화하여 하나의 고정 크기 벡터로 만드는 SWEM-aver 방법을 사용해 문서 임베딩을 사전에 계산한다.
• 학습 중 단어 임베딩과 문서 임베딩 간 일관성을 확보하기 위해 기준 트랜스포머 모델의 사전 학습된 단어 임베딩을 사용한다.
• 입력 토큰 임베딩과 문서 임베딩을 연결하여 트랜스포머 인코더의 입력에 문서 맥락을 통합한다.
• 임베딩을 미세조정하지 않고 강화된 모델(문서 모델)을 훈련시어 단어 표현과 문서 표현 간 의미적 연결을 유지한다.
• 훈련 데이터의 소스 측에 문서 태그를 적용하여 각 문장을 전체 문서 맥락과 연결한다.
• 표준 벤치마크 데이터셋을 사용해 영어-독어, 영어-프랑스어, 프랑스어-영어 세 가지 언어 조합에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 사전에 계산된 임베딩을 통해 전체 문서 맥락을 통합하면 신경 기계 번역 성능 향상이 가능한가?
• RQ2 제안된 방법이 '대명사 참조'나 '어휘의 다의어 해소'와 같은 문장 간 모호성을 효과적으로 해결하는가?
• RQ3 특히 논의 수준의 이해가 필요한 경우에 성능 향상이 다양한 언어 조합 간 어떻게 달라지는가?
• RQ4 아키텍처를 수정하지 않는 비아키텍처 기반 사전 처리 방법이 의미 있는 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 방법은 영어-독어 번역 작업에서 최대 0.85 BLEU 포인트의 향상을 달성했다.
• 영어-프랑스어 및 프랑스어-영어 작업에서는 1 BLEU 포인트 이상의 향상을 기록하여 복잡하고 맥락에 민감한 번역에서 뚜렷한 성과를 보였다.
• 기준 모델이 맥락 부족으로 실패한 'lui'(그녀 vs. 그) 및 'elle'(그녀 vs. 그것)와 같은 모호한 대명사의 경우, 문서 모델은 정확히 올바른 해석을 내놓았다.
• 공식적/비공식적 대명사(예: 'vous' 대비 'tu')의 경우, 맥락상 공식성이 요구될 경우 문서 모델은 'vous'를 정확히 선택했고, 기준 모델은 'tu'를 선택했다.
• 이 방법은 문장 간 행동을 보였으며, 모델이 문서 수준의 정보를 활용해 일관성 향상과 장거리 의존성 해소에 기여함을 보였다.
• 두 모델이 모두 실수를 했을 경우에도 문서 모델의 예측은 맥락적으로 더 타당했으며, 이는 문서 구조에 대한 더 나은 추론 능력을 지녔음을 시사한다.