[논문 리뷰] An Empirical Comparison of Simple Domain Adaptation Methods for Neural Machine Translation

Chenhui Chu, Raj Dabre외 1명|arXiv (Cornell University)|2017. 01. 12.

Natural Language Processing Techniques참고 문헌 14인용 수 51

한 줄 요약

본 논문은 out-of-domain 사전 학습과 혼합된 도메인-내부/도메인-외부 파인튜닝을 결합한 도메인 적응 방법인 mixed fine tuning을 제시하고, 이를 fine tuning 및 다중 도메인 방법과 비교한다. mixed fine tuning이 여러 도메인 쌍에서 종종 가장 높은 BLEU 점수를 산출한다는 것을 보여준다.

ABSTRACT

In this paper, we propose a novel domain adaptation method named "mixed fine tuning" for neural machine translation (NMT). We combine two existing approaches namely fine tuning and multi domain NMT. We first train an NMT model on an out-of-domain parallel corpus, and then fine tune it on a parallel corpus which is a mix of the in-domain and out-of-domain corpora. All corpora are augmented with artificial tags to indicate specific domains. We empirically compare our proposed method against fine tuning and multi domain methods and discuss its benefits and shortcomings.

연구 동기 및 목표

• 신경 기계 번역에서 저자원 도메인 내 데이터 설정에서 도메인 적응의 필요성을 동기화한다.
• out-of-domain 프리트레이닝과 혼합 도메인 파인튜닝을 결합하는 방법으로 mixed fine tuning을 제안한다.
• 여러 도메인 쌍에서 mixed fine tuning을 fine tuning 및 다중 도메인 전략과 실험적으로 비교한다.
• 도메인 태그가 성능에 미치는 영향을 평가하고 학습 시간과 과적합 효과를 분석한다.

제안 방법

• out-of-domain 데이터에서 NMT 모델을 수렴될 때까지 학습한다.
• 도메인 내부(IN-domain) 데이터 부분의 과샘플링으로 혼합 코퍼스 상에서 재학습을 진행한다.
• 필요에 따라 도메인 내부 데이터에서 추가로 파인 튜닝을 수행한다.
• 모든 코퍼라에 도메인 태그를 부여하여 도메인을 표시한다.
• 두 도메인 적응 설정에서 여러 테스트 세트에 대해 BLEU-4로 평가한다.

실험 결과

연구 질문

• RQ1 mixed fine tuning이 신경 기계 번역의 도메인 적응에서 전통적인 fine tuning 및 다중 도메인 접근법보다 성능이 우수한가?
• RQ2 도메인 태그가 이러한 도메인 적응 방법의 성능에 어떤 영향을 미치는가?
• RQ3 수렴 시간 및 도메인 데이터 품질에 대한 강건성의 trade-off는 무엇인가?
• RQ4 제안된 방법이 서로 다른 언어쌍 및 도메인 쌍(고품질 vs 저품질 도메인 데이터)에서 어떻게 작동하는가?

주요 결과

• Mixed fine tuning은 시험된 도메인 쌍들 사이에서 일반적으로 가장 높은 BLEU-4 점수를 얻는다.
• fine tuning은 작고 도메인 내부 데이터에서 과적합되는 경향이 있는 반면, mixed fine tuning은 과적합을 완화하고 외부 도메인 번역 품질을 유지한다.
• 다중 도메인 방법은 도메인 태그를 활용하면 도움이 될 수 있지만 mixed fine tuning을 지속적으로 능가하지는 못한다.
• 도메인 데이터 품질이 불량한 경우(예: WIKI-CJ) mixed fine tuning의 이점이 덜 두드러지며 도메인 데이터 품질이 효과성에 영향을 준다.
• fine tuning에 비해 mixed fine tuning은 파인 튜닝 데이터 크기에 비례해 더 긴 파인 튜닝 시간이 필요하다.
• 도메인 태그는 다중 도메인 설정과 mixed fine tuning 설정 모두에 유익하다.