[논문 리뷰] Learning to Reuse Translations: Guiding Neural Machine Translation with Examples

Qian Cao, Shaohui Kuang외 1명|arXiv (Cornell University)|2019. 11. 25.

Natural Language Processing Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 유사한 예제 문장에서 관련 번역 조각을 재사용함으로써 NMT를 향상시키는 프레임워크인 예제 유도 신경 기계 번역(EGNMT)을 제안한다. 두 가지 모델을 도입한다: 예제의 불필요한 단어를 필터링하기 위한 노이즈 마스크 인코더와 주요 디코더가 재사용 가능한 어휘 조각을 예측하도록 공동으로 훈련하는 보조 디코더로, 다양한 언어 조합에서 기준 모델 대비 최대 +9 BLEU 포인트의 성능 향상을 달성한다.

ABSTRACT

In this paper, we study the problem of enabling neural machine translation (NMT) to reuse previous translations from similar examples in target prediction. Distinguishing reusable translations from noisy segments and learning to reuse them in NMT are non-trivial. To solve these challenges, we propose an Example-Guided NMT (EGNMT) framework with two models: (1) a noise-masked encoder model that masks out noisy words according to word alignments and encodes the noise-masked sentences with an additional example encoder and (2) an auxiliary decoder model that predicts reusable words via an auxiliary decoder sharing parameters with the primary decoder. We define and implement the two models with the state-of-the-art Transformer. Experiments show that the noise-masked encoder model allows NMT to learn useful information from examples with low fuzzy match scores (FMS) while the auxiliary decoder model is good for high-FMS examples. More experiments on Chinese-English, English-German and English-Spanish translation demonstrate that the combination of the two EGNMT models can achieve improvements of up to +9 BLEU points over the baseline system and +7 BLEU points over a two-encoder Transformer.

연구 동기 및 목표

• 신경 기계 번역(NMT)이 유사한 예제 문장에서 관련 번역 조각을 효과적으로 재사용할 수 있도록 유도하는 것.
• 예제 번역에서 재사용 가능한 번역 조각과 노이즈가 섞인 불일치하는 내용을 구분하는 과제를 해결하는 것.
• 핵심 아키텍처를 수정하지 않고도 예제 가이던스를 NMT 디코딩 과정에 통합할 수 있는 훈련 가능한 종단 간 프레임워크를 개발하는 것.
• 낮은 유사도와 높은 유사도의 예제 번역을 보완 전략으로 활용하여 번역 품질을 향상시키는 것.

제안 방법

• 노이즈 마스크 인코더(NME) 모델은 단어 정렬을 이용해 예제 번역의 비관련 단어를 특수 토큰 <X>로 마스킹하고, 정제된 시퀀스를 인코딩한다.
• 보조 디코더(AD) 모델은 주요 디코더와 파라미터를 공유하며, 일치하지 않는 부분이 <X>로 대체된 참조 번역의 마스킹된 버전을 예측하도록 훈련된다.
• 보조 디코더는 주요 디코더와 함께 공동으로 훈련되어 주요 모델이 예제 번역에서 재사용 가능한 어휘 조각을 생성하도록 유도한다.
• 이 프레임워크는 트랜스포머 아키텍처 기반으로 개발되었으며, 임의의 인코더-디코더 기반 NMT 시스템에 적용 가능하다.
• NME와 AD 모델은 상호보완적인 강점을 활용하기 위해 통합된다: NME는 낮은 퍼지 매칭 스코어(FMS) 예제에서 노이즈를 필터링하는 데 뛰어나며, AD는 높은 FMS 예제에서 직접 재사용을 가르치는 데 더 우수하다.

실험 결과

연구 질문

• RQ1 예제 문장에서 관련 번역 조각을 효과적으로 재사용하면서 노이즈가 섞인 불일치하는 내용을 필터링할 수 있는가?
• RQ2 기본 아키텍처를 수정하지 않고 주요 NMT 디코더를 예제 번역으로부터 학습시킬 수 있는가?
• RQ3 노이즈 마스킹과 보조 디코딩이 다양한 예제 유사도 수준에서 번역 품질 향상에 기여하는 상대적 기여도는 어떠한가?
• RQ4 통합된 프레임워크가 기준 모델과 단일 모델 접근 방식을 모두 능가할 수 있는가?

주요 결과

• EGNMT 프레임워크는 중국어-영어, 영어-독일어, 영어-스페인어 번역 작업에서 기준 트랜스포머 모델 대비 최대 +9.0 BLEU 포인트의 성능 향상을 달성한다.
• 보조 디코더 모델(AD)은 높은 퍼지 매칭 스코어(FMS) 예제에서 최고의 성능을 기록하지만, 노이즈 마스크 인코더(NME)는 낮은 FMS 예제에서 가장 우수한 성능을 보인다.
• 통합된 EGNMT 모델은 모든 FMS 수준에서 재사용 가능한 단어 생성에 대해 가장 높은 F1 스코어를 기록하여 정밀도와 재현율 사이의 효과적인 균형을 확보한다.
• 어텐션 시각화 결과는 최종 모델이 예제에서 재사용 가능한 번역 조각에 정확히 집중하는 반면, 기준 모델은 예제 전반에 무작위로 어텐션을 분포시키는 것으로 확인되었다.
• 모델은 잘못된 단어 정렬로 인해 예제 번역의 8.1% 단어를 필터링하지만, 여전히 높은 재사용 정확도를 유지한다.
• 이 프레임워크는 일반성과 유연성을 지녀, 트랜스포머 기반 NMT 시스템 전반에 적용 가능하며 번역 메모리나 도메인 적응과의 통합 가능성도 있다.