[논문 리뷰] Towards Making the Most of Context in Neural Machine Translation

Zaixiang Zheng, Xiang Yue외 3명|arXiv (Cornell University)|2020. 02. 19.

Natural Language Processing Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 유연하고 종단간 방식으로 국소 문장 맥락과 전반적 문서 맥락을 명시적으로 모델링하는 통합된 신경 기계 번역 프레임워크를 제안한다. 이는 길이가 어떠한 문서든 효과적으로 번역할 수 있도록 한다. 모델은 트랜스포머 기반 베이스라인 및 이전의 문서 수준 NMT 시스템보다 최대 2.1 BLEU 향상되며, 적절히 활용된 더 큰 맥락이 번역 품질을 일관되게 향상시킴을 입증한다.

ABSTRACT

Document-level machine translation manages to outperform sentence level models by a small margin, but have failed to be widely adopted. We argue that previous research did not make a clear use of the global context, and propose a new document-level NMT framework that deliberately models the local context of each sentence with the awareness of the global context of the document in both source and target languages. We specifically design the model to be able to deal with documents containing any number of sentences, including single sentences. This unified approach allows our model to be trained elegantly on standard datasets without needing to train on sentence and document level data separately. Experimental results demonstrate that our model outperforms Transformer baselines and previous document-level NMT models with substantial margins of up to 2.1 BLEU on state-of-the-art baselines. We also provide analyses which show the benefit of context far beyond the neighboring two or three sentences, which previous studies have typically incorporated.

연구 동기 및 목표

• 기존 문서 수준 NMT 모델이 전반적 맥락을 충분히 활용하지 못하고 단일 문장 입력을 처리할 수 없는 한계를 해결하기 위해.
• 개별 학습 절차 없이 문장 수준 및 문서 수준 번역을 모두 지원하는 통합 아키텍처를 설계하기 위해.
• 일반적으로 2~3 문장의 최적 창크기로 간주되는 바깥 맥락의 길이를 늘일 경우 번역 품질이 향상되는지 여부를 조사하기 위해.
• 더 긴 문서에서 의사소통 일관성(예: 지시어, 어간 변화, 생략)을 유지하는 강력하고 맥락 인식 번역을 가능하게 하기 위해.

제안 방법

• 모델은 이중 인코딩 메커니즘을 사용한다: 국소 문장 맥락과 전반적 문서 맥락을 별도로 인코딩한 후, 맥락 융합 게이트를 통해 융합한다.
• 맥락 융합 게이트는 각 레이어에서 국소 및 전반적 표현 간의 동적 균형을 맞추며, 노이즈가 많거나 긴 맥락에 대한 민감도를 감소시킨다.
• 디코더는 부분적으로 생성된 타겟 측 번역을 타겟 측 전반적 맥락의 형태로 통합하여, 향후 내용을 고려한 자동 회귀 생성을 가능하게 한다.
• 특정 데이터 분할이나 미세조정 없이 표준 문장 수준 및 문서 수준 데이터셋에서 종단간으로 학습된다.
• 문장 간 의존성을 모델링하기 위해 세그먼트 수준 상대적 어텐션을 사용하며, 이는 먼 문장과 인접한 문장 모두에 주목함을 시각화한다. 특히 향후 문장에 더 강한 어텐션을 집중한다.
• 특히 문서 수준 데이터가 부족한 상황에서 성능 향상을 위해 사전 학습된 원천 및 타겟 언어 모델을 사용한 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 일관된 성능을 유지하면서도 단일 문장 포함, 임의의 길이의 문서를 처리할 수 있는 단일 NMT 모델이 효과적으로 작동할 수 있는가?
• RQ2 문서 맥락의 크기를 늘릴 경우 번역 품질이 향상되는가, 아니면 긴 맥락의 노이즈로 인해 성능이 떨어지는가?
• RQ3 제안된 모델의 어텐션 메커니즘이 원천 문장과 타겟 문장에 어떻게 어텐션을 분배하는가? 맥락 활용 패턴은 어떠한가?
• RQ4 지시어, 어휘 일관성, 생략과 같은 의사소통 현상에 대해 맥락 무관 모델에 비해 모델이 얼마나 잘 해결하는가?
• RQ5 모델의 어텐션 패턴이 번역 과정에서 전반적 맥락이 어떻게 사용되는지에 대한 의미 있는 통찰을 드러내는가?

주요 결과

• 제안된 모델은 TED Zh-En 데이터셋에서 가장 강력한 베이스라인 대비 최대 2.1 BLEU 향상되며, 최고 수준의 성능을 달성한다.
• IWSLT2017 En-Ro 및 IWSLT2017 En-Zh 벤치마크에서 이전의 문서 수준 NMT 모델보다 1.5~2.0 BLEU 향상된다.
• 기존 맥락 인식 모델과 달리 단일 문장 입력에서도 뛰어난 성능을 유지한다.
• 분석 결과, 모델은 즉각적인 이웃 문장뿐 아니라 먼 문장에도 주목하며, 향후 문장에 더 강한 어텐션을 집중함을 보여, 장거리 맥락 활용이 효과적임을 시사한다.
• 의사소통 현상에 대한 정확도가 크게 향상됨: 지시어 61.3%, 어휘 일관성 46.1%, 생략(형태적) 61.0%, 생략(동사구) 35.6%, 모두 베이스라인을 초월한다.
• 원천 및 타겟 사전 학습을 통한 전이 학습은 TED Zh-En에서 BLEU 점수를 21.3까지 향상시켜, 데이터 부족 문제를 사전 학습으로 보완할 수 있음을 보여준다.