[논문 리뷰] Domain Adaptation of Neural Machine Translation by Lexicon Induction

Junjie Hu, Mengzhou Xia외 2명|arXiv (Cornell University)|2019. 06. 02.

Natural Language Processing Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 도메인 적응을 위한 어휘 유도 기반 방법(DALI)을 제안한다. 이는 별도의 도메인 내 병렬 문장 없이 도메인 내 단일 언어 문장 데이터에서 도메인 특화 어휘를 유도하고, 어휘 기반 단어 대 단어 역번역을 통해 가짜 병렬 코퍼스를 구성함으로써, 도메인 외 환경에서의 신경 기계 번역(NMT) 성능을 향상시키는 비지도 학습 방법이다. 이 방법은 적응되지 않은 모델 대비 최대 14 BLEU 향상과 강력한 역번역 기반 모델 대비 최대 2 BLEU 향상을 달성한다.

ABSTRACT

It has been previously noted that neural machine translation (NMT) is very sensitive to domain shift. In this paper, we argue that this is a dual effect of the highly lexicalized nature of NMT, resulting in failure for sentences with large numbers of unknown words, and lack of supervision for domain-specific words. To remedy this problem, we propose an unsupervised adaptation method which fine-tunes a pre-trained out-of-domain NMT model using a pseudo-in-domain corpus. Specifically, we perform lexicon induction to extract an in-domain lexicon, and construct a pseudo-parallel in-domain corpus by performing word-for-word back-translation of monolingual in-domain target sentences. In five domains over twenty pairwise adaptation settings and two model architectures, our method achieves consistent improvements without using any in-domain parallel sentences, improving up to 14 BLEU over unadapted models, and up to 2 BLEU over strong back-translation baselines.

연구 동기 및 목표

• 신규 도메인에서의 어휘 이외 단어(OOV) 번역 실패 문제를 해결함으로써 신경 기계 번역(NMT)에서의 도메인 이동 문제에 대응한다.
• 기존의 비지도 데이터 기반 적응 방법이 도메인 특화 미지어에 대한 직접적 지도 없이 한계를 보이는 점을 극복한다.
• 도메인 내 단일 언어 문장 데이터를 활용하여 도메인 외 OOV 단어의 번역 성능을 향상시키되, 도메인 내 병렬 문장이 필요로 하지 않는 방법을 개발한다.
• 도메인 내 OOV 단어에 대한 명시적 지도가 NMT에서 효과적인 도메인 적응을 위해 필수적임을 입증한다.
• 기존의 어휘 풍부성 중심 방법(예: 역번역)과 보완적인 모델 독립적 데이터 기반 접근법을 제공한다.

제안 방법

• 원천 임베딩을 목표 언어 공간으로 매핑하기 위해 지도 또는 비지도 방법을 사용하여 어휘 유도를 수행함으로써, 최근접 이웃 검색을 통한 미리보지 않은 도메인 내 단어의 번역을 가능하게 한다.
• 도메인 외 병렬 데이터의 시드 어휘와 단어 정렬을 활용하여 직교 제약 조건을 적용한 지도 학습을 통해 임베딩 매핑 함수를 학습한다.
• 비지도 어휘 유도의 경우, 병렬 지도 없이 교차 언어 단어 임베딩 정렬을 학습하기 위해 적대적 훈련과 반복적 개선 기법을 적용한다.
• 유도된 어휘를 사용하여 도메인 내 목표 언어 단일 문장들을 원천 언어로 단어 대 단어로 역번역함으로써 가짜 병렬 도메인 내 코퍼스를 구성한다.
• 유도된 가짜 병렬 도메인 내 데이터를 기반으로 사전에 훈련된 도메인 외 NMT 모델을 미세조정하여 새로운 도메인에 적응시킨다.
• 제안된 방법을 표준 역번역과 조합함으로써 성능을 추가로 향상시키며, 어휘 정확성 향상과 어휘 풍부성 향상의 상호보완적 효과를 입증한다.

실험 결과

연구 질문

• RQ1 비지도 어휘 유도가 도메인 내 OOV 단어 번역 성능 향상에 효과적인가? 이는 도메인 내 병렬 문장이 전혀 없이도 가능할까?
• RQ2 교차 도메인 NMT에서 BLEU 점수 향상 측면에서 제안된 방법은 강력한 역번역 기반 모델 대비 어떻게 비교되는가?
• RQ3 제안된 방법이 역번역과의 조합에서 번역 품질 향상에 얼마나 기여하는가?
• RQ4 이 방법은 다양한 도메인과 서로 다른 NMT 아키텍처(RNN 및 Transformer)에 걸쳐 일관된 향상을 보이는가?
• RQ5 제안된 방법의 향상 요인이 일반적인 어휘 풍부성 향상이 아니라 OOV 단어 처리 능력 향상에 기인하는가?

주요 결과

• 제안된 DALI 방법은 어휘 유도 기반 역번역을 통해 구성된 가짜 병렬 도메인 내 코퍼스를 기반으로 미세조정할 경우, 적응되지 않은 NMT 모델 대비 최대 14 BLEU 향상을 달성한다.
• 5개 도메인(Medical, IT, Law, Subtitles, Koran)에서 20개의 쌍별 도메인 적응 설정 전반에서, 도메인 내 병렬 문장 없이도 일관된 번역 성능 향상을 보였다.
• 역번역과 조합했을 경우 추가로 4 BLEU 향상이 발생하여, OOV 번역과 어휘 풍부성 향상 측면에서 상호보완적인 성능 향상을 입증했다.
• 이 방법은 도메인 내 OOV 단어의 번역 성능을 크게 향상시키지만, 역번역은 주로 원천 쪽 문장의 어휘 풍부성을 향상시키므로, 상호보완적인 이점이 있음을 시사한다.
• DALI의 성능 향상은 도메인 특화 미지어의 처리 능력 향상 덕분에 가장 두드러지며, 이는 이러한 단어에 대한 명시적 지도가 도메인 적응에 핵심적임을 확인한다.
• 이 방법은 RNN 기반 및 Transformer 기반 NMT 아키텍처 전반에서 일관된 향상을 보이며, 일반화 가능성과 모델 독립성의 잠재력을 입증한다.