[논문 리뷰] Capturing Longer Context for Document-level Neural Machine Translation: A Multi-resolutional Approach.

Zewei Sun, Mingxuan Wang외 5명|arXiv (Cornell University)|2020. 10. 18.

Natural Language Processing Techniques참고 문헌 51인용 수 11

한 줄 요약

이 논문은 문장 수준와 문서 수준에서 동시에 학습함으로써 문서 수준 번역에서 장거리 논의적 맥락을 포착하는 신경 시퀀스-투-시퀀스 모델인 Multi-Resolutional Doc2Doc를 제안한다. 이 모델은 BLEU, 어휘 지표, 언어학적 지표, 인간 평가를 포함한 여러 평가 지표에서 다섯 개의 언어로 구성된 아홉 개의 문서 수준 및 두 개의 문장 수준 데이터셋에서 문장 수준 모델 및 이전 방법들을 능가한다.

ABSTRACT

Discourse context has been proven useful when translating documents. It is quite a challenge to incorporate long document context in the prevailing neural machine translation models such as Transformer. In this paper, we propose multi-resolutional (MR) Doc2Doc, a method to train a neural sequence-to-sequence model for document-level translation. Our trained model can simultaneously translate sentence by sentence as well as a document as a whole. We evaluate our method and several recent approaches on nine document-level datasets and two sentence-level datasets across six languages. Experiments show that MR Doc2Doc outperforms sentence-level models and previous methods in a comprehensive set of metrics, including BLEU, four lexical indices, three newly proposed assistant linguistic indicators, and human evaluation.

연구 동기 및 목표

• Transformer 기반 신경 기계 번역 모델에 장기 문서 수준의 논의적 맥락을 통합하는 데 도전하는 것.
• 동시에 문장 수준 및 문서 수준 번역을 가능하게 하는 통합 학습 프레임워크를 개발하는 것.
• 다중 해상도 맥락 이해를 활용하여 문장 수준 모델을 초월한 번역 품질 향상시키는 것.
• 다양한 언어 조합과 문서 수준 데이터셋에서 자동 평가 지표와 인간 평가를 포함한 종합적인 평가를 수행하는 것.

제안 방법

• 모델은 문장 단위로 번역을 생성하는 것과 전체 문서로 번역을 생성하는 것을 동시에 끝내는 방식으로 엔드 투 엔드로 학습되어, 다중 해상도 맥락 포착이 가능하다.
• 문서 내 문장 간의 의존성을 모델링하는 논의 인식 표현을 아키텍처에 통합한다.
• 장거리 일관성을 유지하기 위해 문장 수준 및 문서 수준 번역 목표를 공동 최적화하는 방식으로 학습한다.
• 긴 시퀀스에서 정렬과 유창성을 향상시키기 위해 문서 수준 맥락을 강화한 어텐션 메커니즘을 활용한다.
• 문장 수준 출력을 유지하면서 전체 문서 맥락에 조건을 부여하는 이중 스트림 디코딩 전략을 사용한다.
• 기존의 표준 Transformer 기반 모델과 호환되며, 여러 언어 조합에 걸쳐 확장 가능한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 통합 신경 시퀀스-투-시퀀스 모델이 개선된 번역을 위해 효과적으로 장기 문서 수준 맥락을 포착하고 활용할 수 있는가?
• RQ2 동시에 문장 수준 및 문서 수준 번역을 수행하는 다중 해상도 학습 전략이 기존의 문장 수준 학습 전략에 비해 번역 품질에서 어떻게 비교되는가?
• RQ3 제안된 방법이 다양한 언어 조합에서 자동 평가 지표와 인간 평가 지표에서 성능 향상에 얼마나 기여하는가?
• RQ4 모델의 출력이 이전 최고 성능 기준 방법들에 비해 어휘 다양성, 일관성, 언어학적 품질 측면에서 어떻게 비교되는가?

주요 결과

• MR Doc2Doc는 BLEU, 어휘 지표, 새로 제안된 언어학적 지표를 포함한 모든 평가 지표에서 뛰어난 성능을 기록한다.
• 이 모델은 여섯 개의 언어에서 아홉 개의 문서 수준 데이터셋에서 문장 수준 모델과 이전의 문서 수준 접근 방식을 모두 능가한다.
• 인간 평가 결과, MR Doc2Doc는 경쟁 방법들보다 더 자연스럽고 일관성 있고 맥락적으로 정확한 번역을 생성함을 확인했다.
• 다중 해상도 학습 전략은 문장 수준 번역 품질을 희생시키지 않고도 더 나은 장거리 맥락 모델링을 가능하게 한다.
• 다양한 언어 조합에서 일관된 향상이 나타나, 광범위한 적용 가능성과 강건성을 보여준다.
• 보조 언어학적 지표의 포함은 생성된 번역에서 더 향상된 문법적 및 의미적 일관성을 확인시켰다.