[논문 리뷰] A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation

Di Jin, Zhijing Jin외 2명|arXiv (Cornell University)|2020. 01. 22.

Natural Language Processing Techniques참고 문헌 21인용 수 13

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 준지도 학습 도메인 적응을 위한 단순하면서도 매우 효과적인 반복적 역번역 및 언어 모델링 접근법을 제안한다. 각 학습 반복 과정에서 지도 학습 기반의 소스 도메인 데이터를 통합한다. 이는 가장 강력한 기준 모델 대비 최대 +19.31 BLEU 향상과 비적응 모델 대비 +47.69 BLEU 향상을 기록하여 향후 연구를 위한 강력하고 쉽게 구현 가능한 기준 모델을 확립한다.

ABSTRACT

State-of-the-art neural machine translation (NMT) systems are data-hungry and perform poorly on new domains with no supervised data. As data collection is expensive and infeasible in many cases, domain adaptation methods are needed. In this work, we propose a simple but effect approach to the semi-supervised domain adaptation scenario of NMT, where the aim is to improve the performance of a translation model on the target domain consisting of only non-parallel data with the help of supervised source domain data. This approach iteratively trains a Transformer-based NMT model via three training objectives: language modeling, back-translation, and supervised translation. We evaluate this method on two adaptation settings: adaptation between specific domains and adaptation from a general domain to specific domains, and on two language pairs: German to English and Romanian to English. With substantial performance improvement achieved---up to +19.31 BLEU over the strongest baseline, and +47.69 BLEU improvement over the unadapted model---we present this method as a simple but tough-to-beat baseline in the field of semi-supervised domain adaptation for NMT.

연구 동기 및 목표

• 병렬 학습 데이터가 전혀 없는 저자원, 전문 도메인에서의 NMT 성능 저하 문제를 해결하기 위해.
• 다른 언어로의 일반화 성능 향상을 위해 고자원 소스 도메인(예: WMT) 데이터에서 출발하여, 단지 단일 언어 데이터만을 이용한 타겟 도메인으로의 일반화를 향상시키기 위해.
• 기존 방법들을 능가하는 단순하면서도 강력한 준지도 학습 도메인 적응 기준 모델 방법을 개발하기 위해.
• 특히 저자원 환경에서 데이터 양과 분포가 적응 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 소스 및 타겟 언어 모두에 대해 대규모 단일 언어 위키백과 데이터를 기반으로 언어 모델링 사전 학습을 통해 Transformer 기반 NMT 모델을 초기화한다.
• 세 가지 목적 함수를 사용하여 반복적으로 모델을 학습한다: 양방향 역번역(L1→L2 및 L2→L1), 타겟 도메인 단일 언어 데이터에 대한 언어 모델링, 소스 도메인 병렬 데이터에 대한 지도 번역.
• 반복 최적화를 적용하여 각 학습 단계에서 비병렬 타겟 데이터에 대한 역번역과 언어 모델링을 번갈아 수행하고, 주기적으로 소스 도메인 병렬 데이터를 활용한 미세조정을 실시한다.
• 타겟 도메인 단일 언어 데이터와 동일 도메인 또는 소스 도메인에서 추가로 확보한 비병렬 데이터를 조합하여 데이터 증강을 실시하여 성능 향상을 도모한다.
• 번역 품질, 단일 언어 유창성, 도메인 일반화를 동시에 최적화하는 다목적 학습 체계를 구현한다.
• 서브샘플링 및 데이터 조합 전략을 적용하여 소스 도메인 데이터 크기와 분포가 모델 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 비병렬 타겟 도메인 단일 언어 데이터에 대한 반복적 역번역과 언어 모델링을 병행할 경우, 저자원 도메인에서 NMT 성능 향상이 크게 이루어지는가?
• RQ2 반복 학습 과정에서 지도 학습 기반 소스 도메인 데이터를 통합할 경우, 순수하게 비지도 학습 방법과 비교해 적응 성능에 어떤 영향을 미치는가?
• RQ3 타겟 도메인 또는 소스 도메인에서 추가로 확보한 비병렬 단일 언어 데이터가 적응 성능에 어떤 영향을 미치는가?
• RQ4 소스 도메인 병렬 데이터 크기가 도메인 적응 성능 향상에 미치는 영향은 어떠한가?
• RQ5 제안된 방법이 준지도 학습 도메인 적응 분야에서 기존 최신 기술 대비 뛰어난 성능을 보이는 강력하고 단순한 기준 모델이 될 수 있는가?

주요 결과

• 제안된 방법은 특정 도메인 간 적응에서 네 가지 기준 모델 중 가장 우수한 모델 대비 최대 +9.48 BLEU 향상을 기록한다.
• 일반 도메인(WMT)에서 특정 도메인으로의 적응에서, 가장 우수한 이전 방법 대비 최대 +19.31 BLEU 향상과 비적응 모델 대비 +47.69 BLEU 향상을 달성한다.
• 타겟 도메인에서 추가 비병렬 데이터(예: TED 강연)를 추가로 통합할 경우 성능 향상이 일관되게 관찰되며, 최적 설정에서는 지도 번역 성능에 매우 가까운 BLEU 점수를 기록한다.
• 소스 도메인 병렬 데이터가 많을수록 방법의 성능 향상이 뚜렷하며, 데이터가 100만 개 이상을 초과할 경우에만趋기(포화 상태)에 도달한다.
• IBT+Back 방법은 역번역만 사용하는 방법이나 제한된 데이터를 사용하는 방법을 포함한 모든 기준 모델을 뛰어넘으며, 뛰어난 데이터 효율성과 일반화 능력을 입증한다.
• 이 방법은 강력한 강인성과 확장성을 보이며, 독일어-영어 및 루마니아어-영어 두 언어 쌍과 여러 적응 설정에서 성능 향상이 유지된다.