[논문 리뷰] Document-level Neural Machine Translation with Inter-Sentence Attention.

Shu Jiang, Rui Wang외 6명|arXiv (Cornell University)|2019. 10. 31.

Natural Language Processing Techniques참고 문헌 25인용 수 8

한 줄 요약

이 논문은 번역에 가장 관련성이 높은 문서 수준의 맥락을 동적으로 선택하는 메모리 네트워크를 통합한 어텐션 증강 Transformer NMT 모델을 제안한다. 문장 간 어텐션과 메모리 기반의 관련성 필터링을 통합함으로써, 다양한 작업에서 강력한 Transformer 기준 모델 대비 번역 품질을 크게 향상시킨다.

ABSTRACT

Standard neural machine translation (NMT) is on the assumption of document-level context independent. Most existing document-level NMT methods only focus on briefly introducing document-level information but fail to concern about selecting the most related part inside document context. The capacity of memory network for detecting the most relevant part of the current sentence from the memory provides a natural solution for the requirement of modeling document-level context by document-level NMT. In this work, we propose a Transformer NMT system with associated memory network (AMN) to both capture the document-level context and select the most salient part related to the concerned translation from the memory. Experiments on several tasks show that the proposed method significantly improves the NMT performance over strong Transformer baselines and other related studies.

연구 동기 및 목표

• 기존 NMT 모델이 문서 수준 맥락을 다루는 데에 한계가 있음을 해결하기 위해 관련성이 높은 이전 문장을 통합한다.
• 문서 맥락에서 가장 두드러진 부분에만 집중함으로써 번역 성능을 향상시킨다.
• 기존 문서 수준 NMT 방법들이 관련 맥락을 효과적으로 필터링하거나 우선순위를 정하지 못하는 점을 보완한다.
• 메모리 네트워크를 Transformer 아키텍처에 통합하여 문서 수준 번역에서 장거리 의존성과 관련성을 모델링한다.

제안 방법

• 문서 맥락에서 관련 문장을 저장하고 검색하는 연관 메모리 네트워크(AMN)를 도입한다.
• 현재 문장과 문서 내 모든 이전 문장 간의 관련성 점수를 계산하기 위해 문장 간 어텐션을 사용한다.
• 각 번역 단계에서 가장 관련성이 높은 맥락을 동적으로 선택하기 위해 메모리 메커니즘을 활용한다.
• Transformer 아키텍처의 디코더에서 자기 어텐션과 크로스 어텐션 메커니즘에 선택된 맥락을 통합한다.
• 메모리 네트워크가 맥락 표현을 개선하도록 표준 NMT 목표 함수를 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 관련 맥락을 이전 문장들 중에서 가장 적절하게 선택함으로써 메모리 증강 어텐션 메커니즘이 문서 수준 NMT의 성능을 향상시킬 수 있는가?
• RQ2 제안된 AMN 모델은 표준 Transformer 및 기타 문서 수준 NMT 방법과 비교해 번역 품질 측면에서 어떻게 성과를 내는가?
• RQ3 문장 간 어텐션은 장문의 문서 번역 작업에서 맥락 모델링을 얼마나 향상시키는가?
• RQ4 메모리 네트워크의 통합은 다양한 문서 수준 번역 시나리오에서 더 견고하고 일관된 성능을 이끌어내는가?

주요 결과

• 제안된 방법은 여러 문서 수준 번역 작업에서 강력한 Transformer 기준 모델 대비 뚜렷한 향상을 이룬다.
• 메모리 네트워크는 번역에 가장 관련성이 높은 이전 문장을 효과적으로 식별하고 우선순위를 정함으로써 맥락 모델링을 향상시킨다.
• 문장 간 어텐션의 통합은 장문의 문서에서 원본 문장과 대상 문장 간의 정렬을 더 잘 이끌어낸다.
• 다양한 언어 쌍과 문서 길이에 걸쳐 일관된 성능 향상을 보여준다.