[논문 리뷰] Neural System Combination for Machine Translation

Long Zhou, Wenpeng Hu외 2명|arXiv (Cornell University)|2017. 04. 21.

Natural Language Processing Techniques참고 문헌 32인용 수 17

한 줄 요약

이 논문은 다중 소스 신경 기계 번역(NMT)을 활용하여 NMT 및 SMT 시스템의 출력을 통합하는 신경 시스템 조합 프레임워크를 제안한다. 이는 번역의 유창성과 적절성을 향상시킨다. 별도의 인코더를 통해 소스 문장을 및 여러 시스템의 출력을 모델링하고 공유된 디코더를 사용함으로써, 최고의 단일 시스템 대비 5.3 BLEU 포인트 향상과 최신 기존 시스템 조합 방법 대비 3.4 BLEU 포인트 향상을 달성한다. 중국어-영어 번역에서의 성능 향상이다.

ABSTRACT

Neural machine translation (NMT) becomes a new approach to machine translation and generates much more fluent results compared to statistical machine translation (SMT). However, SMT is usually better than NMT in translation adequacy. It is therefore a promising direction to combine the advantages of both NMT and SMT. In this paper, we propose a neural system combination framework leveraging multi-source NMT, which takes as input the outputs of NMT and SMT systems and produces the final translation. Extensive experiments on the Chinese-to-English translation task show that our model archives significant improvement by 5.3 BLEU points over the best single system output and 3.4 BLEU points over the state-of-the-art traditional system combination methods.

연구 동기 및 목표

• NMT의 유창성과 SMT의 적절성 사이의 상충 관계를 해결하기 위해, 특히 희귀어 및 OOV(어휘 외 어휘) 어휘에 대해.
• NMT 및 SMT 시스템으로부터 유도된 다양한 번역 출력을 효과적으로 통합할 수 있는 신경 프레임워크를 설계하기 위해.
• 공유된 학습 데이터를 사용하여 신경 시스템 조합 모델을 효과적으로 훈련시킬 수 있도록 하는 데이터 시뮬레이션 전략을 개발하기 위해.
• 번역 품질에서 개별 MT 시스템과 기존 시스템 조합 방법을 모두 능가하기 위해.
• 앙상블 디코딩과 다중 소스 모델링이 시스템 조합에서 효과적인지 입증하기 위해.

제안 방법

• 다중 소스 NMT 아키텍처를 변형하여 소스 문장과 여러 MT 시스템(NMT 및 SMT)의 출력을 함께 인코딩한다.
• 소스 문장과 각 시스템의 번역 출력을 위한 별도의 인코더를 사용하여 독립적인 컨텍스트 벡터 표현을 생성한다.
• 모든 입력의 컨텍스트 벡터를 기반으로 디코더 상태, 이전 단어 및 공유된 디코더를 사용하여 최종 번역을 단어 단위로 생성한다.
• 각 입력 소스의 인코더 표현과 디코더 상태를 동적으로 정렬하기 위해 소프트 어텐션 메커니즘을 적용한다.
• 실제 NMT 및 SMT 출력을 모방하는 합성 훈련 예제를 생성하는 데이터 시뮬레이션 전략을 설계하여 언어 다양성과 커버리지 유지.
• 다양한 NMT 모델의 앙상블 디코딩을 통해 시스템 조합 이전에 입력 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경 시스템 조합 모델은 기계 번역에서 NMT의 유창성과 SMT의 적절성을 효과적으로 통합할 수 있는가?
• RQ2 제안된 다중 소스 NMT 기반 프레임워크는 BLEU 점수와 번역 품질 측면에서 기존 시스템 조합 방법과 비교해 어떻게 성능을 내는가?
• RQ3 데이터 시뮬레이션 전략은 신경 시스템 조합에서 훈련 효율성과 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 NMT 출력의 앙상블 디코딩은 시스템 조합 프레임워크 성능을 추가로 향상시키는가?
• RQ5 모델은 다양한 MT 시스템 간에서 일반화되며, 자원이 적거나 희귀어가 많은 문장에서 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 신경 시스템 조합 모델은 중국어-영어 번역에서 최고의 개별 시스템(43.44 vs. 38.10 BLEU) 대비 5.3 BLEU 포인트 향상된 성능을 달성한다.
• 최신 기술 기반의 전통적 시스템 조합 방법(Jane) 대비 3.4 BLEU 포인트 향상되어 43.44 BLEU를 기록했으며, Jane의 40.08을 상회한다.
• 앙상블 NMT 시스템(E-NMT)을 사용할 경우, 모델은 43.61 BLEU를 기록하여 Jane의 40.53 대비 3.08 포인트 향상된 성능을 보였다.
• 희귀어 처리와 문법적 정확성 유지 측면에서 모델이 유창성과 적절성을 효과적으로 균형 잡고 있음을 번역 예시를 통해 입증되었다.
• 데이터 시뮬레이션 전략은 실제 다중 시스템 출력이 필요 없이 효과적인 훈련을 가능하게 하여 프레임워크의 실용성과 확장성을 확보했다.
• 앙상블 디코딩은 성능 향상에 크게 기여하였으며, 고품질의 입력 번역이 시스템 조합 성공에 핵심적임을 입증했다.