[논문 리뷰] Unsupervised Domain Adaptation for Neural Machine Translation with Iterative Back Translation.

Di Jin, Zhijing Jin외 2명|arXiv (Cornell University)|2020. 01. 22.

Natural Language Processing Techniques참고 문헌 24인용 수 7

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 비지도 도메인 적응을 위한 반복적 역번역(IBT) 방법을 제안한다. 도메인 내 단일 언어 데이터를 사용하여 루프를 도는 방식으로 가짜 병렬 문장을 생성함으로써, 도메인 내 병렬 데이터가 전혀 없이도 번역 품질을 향상시킨다. 이 방법은 가장 강력한 이전 방법 대비 최대 +9.48 BLEU, 비적응 기반 모델 대비 최대 +27.77 BLEU의 성능 향상을 달성하였다. 독일어-영어 번역 과제에서 성과를 보였다.

ABSTRACT

State-of-the-art neural machine translation (NMT) systems are data-hungry and perform poorly on domains with little supervised data. As data collection is expensive and infeasible in many cases, unsupervised domain adaptation methods are needed. We apply an Iterative Back Translation (IBT) training scheme on in-domain monolingual data, which repeatedly uses a Transformer-based NMT model to create in-domain pseudo-parallel sentence pairs in one translation direction on the fly and then use them to train the model in the other direction. Evaluated on three domains of German-to-English translation task with no supervised data, this simple technique alone (without any out-of-domain parallel data) can already surpass all previous domain adaptation methods---up to +9.48 BLEU over the strongest previous method, and up to +27.77 BLEU over the unadapted baseline. Moreover, given available supervised out-of-domain data on German-to-English and Romanian-to-English language pairs, we can further enhance the performance and obtain up to +19.31 BLEU improvement over the strongest baseline, and +47.69 BLEU increment against the unadapted model.

연구 동기 및 목표

• 저자원 도메인에서 감독된 도메인 내 병렬 데이터 부족으로 인한 NMT 성능 열악함 문제를 해결하기 위해.
• 외부 도메인 병렬 데이터가 필요 없이 도메인 내 단일 언어 데이터만을 활용하여 도메인 적응을 수행하는 방법을 개발하기 위해.
• 자기지도 가짜 병렬 데이터 생성을 통해 저자원 도메인에서의 번역 품질을 향상시키기 위해.
• 간단하면서도 효과적인 반복 학습 기반의 반복적 훈련 방식을 사용하여 NMT의 비지도 도메인 적응에서 최고 성능을 달성하기 위해.

제안 방법

• 도메인 내 단일 언어 데이터에서 한 방향으로만 가짜 병렬 문장 쌍을 생성하기 위해, Transformer 기반 NMT 모델을 사용해 반복적 역번역(IBT)을 적용한다.
• 생성된 가짜 병렬 데이터를 사용해 모델을 반대 방향 번역으로 미세조정함으로써 피드백 루프를 형성한다.
• 반복 과정을 거쳐 각 단계에서 새로 생성된 도메인 내 가짜 데이터를 활용해 모델을 개선한다.
• 실제 도메인 내 병렬 예제에 의존하지 않고, 생성된 가짜 병렬 데이터를 사용해 모델을 종합적으로 훈련시킨다.
• 모델 자체의 번역 능력을 활용해 목표 도메인에서 병렬 데이터를 시뮬레이션한다.
• 가능한 한 외부 도메인 병렬 데이터를 통합하여 성능 향상을 추가로 도모한다.

실험 결과

연구 질문

• RQ1 반복적 역번역(IBT)이 도메인 내 단일 언어 데이터만을 사용해 사전에 훈련된 NMT 모델을 저자원 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 제안된 IBT 방법이 기존 도메인 적응 기법 대비 BLEU 점수 향상 측면에서 어떻게 비교되는가?
• RQ3 도메인 내 병렬 애너테이션 없이도 반복적인 가짜 병렬 데이터 생성이 모델에 얼마나 큰 도움이 되는가?
• RQ4 기존의 외부 도메인 병렬 데이터와 결합했을 때 IBT 방법은 더 향상될 수 있는가?

주요 결과

• IBT 방법 자체만으로도 독일어-영어 번역에서 도메인 내 병렬 데이터가 전혀 없을 경우, 가장 강력한 이전 도메인 적응 방법 대비 최대 +9.48 BLEU 향상을 달성하였다.
• 같은 벤치마크에서 비적응 기반 모델 대비 최대 +27.77 BLEU 향상을 기록하였다.
• 사용 가능한 외부 도메인 병렬 데이터와 결합했을 경우, 가장 강력한 기반 모델 대비 최대 +19.31 BLEU 향상을 달성하였다.
• 외부 도메인 데이터를 IBT 루프와 함께 사용했을 경우, 비적응 모델 대비 +47.69 BLEU의 증가를 기록하였다.
• 다양한 도메인에서 일관된 성능 향상이 관찰되어 IBT 접근법의 강건성을 입증하였다.
• 결과적으로 반복적 역번역은 도메인 내 병렬 데이터가 전혀 없더라도 매우 효과적이며, 이전의 비지도 도메인 적응 방법을 능가하는 것으로 나타났다.