[논문 리뷰] Fast Domain Adaptation for Neural Machine Translation

Markus Freitag, Yaser Al-Onaizan|arXiv (Cornell University)|2016. 12. 20.

Natural Language Processing Techniques참고 문헌 20인용 수 164

한 줄 요약

본 논문은 기존 NMT 시스템을 새로운 도메인에 빠르게 적응시키기 위해 도메인 내 데이터로 추가 학습하고, 기본 모델과 앙상블하여 out-of-domain 성능 저하를 방지하는 빠른 방법을 제시한다.

ABSTRACT

Neural Machine Translation (NMT) is a new approach for automatic translation of text from one human language into another. The basic concept in NMT is to train a large Neural Network that maximizes the translation performance on a given parallel corpus. NMT is gaining popularity in the research community because it outperformed traditional SMT approaches in several translation tasks at WMT and other evaluation tasks/benchmarks at least for some language pairs. However, many of the enhancements in SMT over the years have not been incorporated into the NMT framework. In this paper, we focus on one such enhancement namely domain adaptation. We propose an approach for adapting a NMT system to a new domain. The main idea behind domain adaptation is that the availability of large out-of-domain training data and a small in-domain training data. We report significant gains with our proposed method in both automatic metrics and a human subjective evaluation metric on two language pairs. With our adaptation method, we show large improvement on the new domain while the performance of our general domain only degrades slightly. In addition, our approach is fast enough to adapt an already trained system to a new domain within few hours without the need to retrain the NMT model on the combined data which usually takes several days/weeks depending on the volume of the data.

연구 동기 및 목표

• 신경망 기계 번역(NMT)에서 도메인 적응의 필요성을 제시한다.
• 도메인 외 baseline NMT 모델을 재사용하고 이를 도메인 내 데이터로 적응시키는 빠른 적응 방법을 제안한다.
• 독일어→영어와 중국어→영어에 대해 자동 지표와 인간 평가로 적응을 평가한다.
• 기본 모델과 연속 학습 모델을 앙상블하는 것이 일반 도메인 품질을 보존하면서 도메인 내 성능을 향상시킴을 입증한다.

제안 방법

• bi-GRU 인코더와 어텐션 기반 디코더를 갖춘 어텐션 기반 인코더-디코더 NMT 모델을 사용한다.
• 도메인 외부의 baseline 모델을 도메인 내 데이터로 계속 학습시켜 적응한다(continue model).
• 디코딩 시점에서 continue model과 baseline 모델을 앙상블하여 과적합을 완화한다.
• BLEU와 TER 지표로 평가하고, 도메인 내 샘플에 대한 인간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 사전 학습된 NMT 모델을 도메인 내 데이터만 사용하여 신속하게 새로운 도메인에 적응시킬 수 있으며, 외부 도메인 성능의 심한 저하 없이 가능할까?
• RQ2 continue training 모델을 baseline과 앙상블하는 것이 과적합을 방지하고 일반 도메인 품질을 유지하게 할까?
• RQ3 서로 다른 도메인 특성을 가진 언어 쌍(독일어→영어, 중국어→영어)에서 적응이 어떤 성능을 보이는가?

주요 결과

• 도메인 내 데이터로 계속 학습하는 방식의 적응은 도메인 내 성능에서 큰 향상을 얻으며(일부 케이스에서 최대 ~9.9 BLEU 포인트, ~12.2 TER 포인트).
• continue 모델과 baseline을 앙상블하면 도메인 외 품질을 보존하면서 도메인 내 성능 향상을 제공한다(예: 일부 설정에서 최대 7.2 BLEU 및 10 TER).
• 두 에폭의 continue training으로도 강한 도메인 내 성능을 달성하고 도메인 외 데이터의 저하를 최소화할 수 있으며, 더 긴 연속 학습은 과적합 위험이 있다.
• 인간 판단은 자동 지표를 뒷받침하며, 도메인 내 데이터에서 continue와 앙상블 접근 방식이 baseline보다 향상되었음을 보여준다.
• 이 방법은 German→English와 Chinese→English에서 시연되었으며, 대응하는 적응 역학이 Tables 2와 6에 기록되어 있다.