[논문 리뷰] Multi-Source Neural Machine Translation with Missing Data

Yuta Nishimura, Katsuhito Sudoh외 2명|arXiv (Cornell University)|2018. 06. 07.

Natural Language Processing Techniques참고 문헌 11인용 수 4

한 줄 요약

이 논문은 다중 언어 코퍼스가 부족한 상황에서 다중 소스 신경 기계 번역(NMT)을 위한 단순하면서도 효과적인 방법을 제안한다. 부족한 소스 번역을 특수 토큰 $<$NULL$>$로 대체함으로써, 표준 다중 인코더 및 전문가 혼합 NMT 아키텍처를 사용해 부족한 데이터에서도 훈련과 추론을 수행할 수 있도록 한다. 실제 TED 강연 데이터에서 기존의 일대일 NMT 시스템 대비 BLEU 점수를 최대 2.22점 향상시킨다.

ABSTRACT

Multi-source translation is an approach to exploit multiple inputs (e.g. in two different languages) to increase translation accuracy. In this paper, we examine approaches for multi-source neural machine translation (NMT) using an incomplete multilingual corpus in which some translations are missing. In practice, many multilingual corpora are not complete due to the difficulty to provide translations in all of the relevant languages (for example, in TED talks, most English talks only have subtitles for a small portion of the languages that TED supports). Existing studies on multi-source translation did not explicitly handle such situations. This study focuses on the use of incomplete multilingual corpora in multi-encoder NMT and mixture of NMT experts and examines a very simple implementation where missing source translations are replaced by a special symbol . These methods allow us to use incomplete corpora both at training time and test time. In experiments with real incomplete multilingual corpora of TED Talks, the multi-source NMT with the tokens achieved higher translation accuracies measured by BLEU than those by any one-to-one NMT systems.

연구 동기 및 목표

• 다중 언어 코퍼스가 번역 누락으로 인해 완전하지 않은 상황에서 다중 소스 NMT 시스템을 훈련하고 구현하는 데 도전하는 것.
• 일부 언어가 누락되어도 훈련 및 추론 시 모두 가능한 소스 언어 번역을 효과적으로 활용할 수 있도록 하는 것.
• 일반적인 일대일 NMT 대비 부족한 입력을 $<$NULL$>$ 토큰으로 단순 대체하는 것이 번역 성능 향상에 기여하는지 평가하는 것.
• 완전한 커버리지가 흔치 않은 실세계 시나리오, 예를 들어 다국어 자막과 같은 환경에서 다국어 NMT의 성능을 조사하는 것.

제안 방법

• 훈련 및 추론 중 다중 소스 NMT에서 누락된 소스 문장을 학습된 $<$NULL$>$ 토큰으로 대체한다.
• 전역 어텐션을 사용하는 표준 다중 인코더 NMT 아키텍처를 사용하며, 디코더의 은닉 상태는 인코더 최종 상태의 가중 조합을 통해 초기화된다.
• 다른 전문가 모델에서도 동일한 $<$NULL$>$ 토큰 전략을 적용한다. 각 전문가는 이원 언어 서브셋에서 훈련되며, 출력은 라우팅 네트워크에 의해 제어된다.
• 프랑스어, 포르투갈어 또는 기타 언어에서 번역이 누락된 실제 TED 강연 데이터에서 얻은 불완전한 다국어 코퍼스를 사용해 모델을 훈련하고 평가한다.
• 다중 소스 NMT와 $<$NULL$>$ 처리 방식을 일대일 NMT 시스템과 비교하기 위해 BLEU 점수를 주요 평가 지표로 사용한다.
• 완전한(누락 없음) 및 불완전한(부분적 누락) 테스트 세트에서 성능을 평가하여 모델의 강인성을 점검한다.

실험 결과

연구 질문

• RQ1 부족한 다국어 코퍼스에서 $<$NULL$>$ 토큰을 사용해 누락된 입력을 표현함으로써 다중 소스 NMT 시스템이 더 높은 번역 정확도를 달성할 수 있는가?
• RQ2 실제로 불완전한 데이터에서 $<$NULL$>$ 토큰을 사용한 다중 소스 NMT의 성능이 일대일 NMT 시스템 대비 BLEU 점수에서 어떻게 비교되는가?
• RQ3 기타 소스 언어(예: 브라질 포르투갈어)가 누락된 상황에서 조차도 하나의 추가 소스 언어(예: 프랑스어)가 번역 품질 향상에 기여하는가?
• RQ4 다양한 다중 소스 NMT 아키텍처—다중 인코더 및 전문가 혼합 모델—가 누락된 데이터 조건에서 어떻게 행동하는가?

주요 결과

• 다중 소스 NMT 모델에서 $<$NULL$>$ 토큰을 사용한 결과, {En,Es,Fr}-to-Pt (br) 번역 작업에서 일대일 NMT 시스템 대비 BLEU 점수를 2.22점 향상시켰다.
• {En,Fr,Pt (br)}-to-Es 작업에서 다중 인코더 모델은 BLEU 점수를 1.69점 향상시켰고, 전문가 혼합 모델은 1.19점 향상시켰다.
• {En,Es,Pt (br)}-to-Fr 작업에서 전문가 혼합 모델은 일대일 NMT 시스템 대비 BLEU 점수를 1.69점 향상시켰다.
• 단 한 개의 소스 문장(예: 영어만 존재)일 경우에도 다중 소스 모델은 참조 번역과 동일한 번역을 생성하여 데이터 누락에 대한 강인성을 입증했다.
• 예시 (1)에서 전문가 혼합 NMT 모델은 BLEU+1 점수를 0.726로 기록하여 일대일 모델(0.266)을 크게 앞서며, 브라질 포르투갈어 입력이 누락된 상황에서도 뛰어난 성능을 보였다.
• 모든 성능 향상은 통계적으로 유의미했다(p < 0.01). 이는 $<$NULL$>$ 접근 방식이 다양한 언어 조합과 모델 아키텍처에서 효과적이라는 것을 확인한다.