[논문 리뷰] A Survey of Domain Adaptation for Neural Machine Translation

Chenhui Chu, Rui Wang|arXiv (Cornell University)|2018. 06. 01.

Natural Language Processing Techniques참고 문헌 80인용 수 130

한 줄 요약

신경망 기계 번역(NMT)을 위한 도메인 적응 기술의 포괄적 조사로, 데이터 중심과 모델 중심 접근으로 분류되며, 실제 적용 가능성 및 향후 방향에 대한 논의가 포함되어 있습니다.

ABSTRACT

Neural machine translation (NMT) is a deep learning based approach for machine translation, which yields the state-of-the-art translation performance in scenarios where large-scale parallel corpora are available. Although the high-quality and domain-specific translation is crucial in the real world, domain-specific corpora are usually scarce or nonexistent, and thus vanilla NMT performs poorly in such scenarios. Domain adaptation that leverages both out-of-domain parallel corpora as well as monolingual corpora for in-domain translation, is very important for domain-specific translation. In this paper, we give a comprehensive survey of the state-of-the-art domain adaptation techniques for NMT.

연구 동기 및 목표

• 도메인별 번역의 필요성을 도메인별 말뭉치가 드문 상황에서 동기 부여한다.
• 데이터 중심과 모델 중심 접근으로 구분하여 NMT의 도메인 적응 기법을 조사하고 분류한다.
• 도메인 내 단일언어 데이터, 합성 데이터, 도메인 외 병렬 데이터를 NMT 도메인 적응에 어떻게 활용할 수 있는지 요약한다.
• 도메인 적응 NMT의 실무적 고려사항, 현실 세계 도입의 도전과제, 그리고 향후 연구 방향을 논의한다.

제안 방법

• NMT의 도메인 적응 방법을 데이터 중심과 모델 중심 패러다임으로 분류한다.
• 데이터 중심 영역에서: 단일언어 데이터의 활용, 합성 병렬 데이터 생성, 도메인 태그와 오버샘플링이 포함된 도메인 외 병렬 데이터의 활용을 검토한다.
• 모델 중심 영역: 학습 목표 조정, 아키텍처 혁신(딥 퓨전, 도메인 구별기, 도메인 제어), 디코딩 중심 전략(얕은 융합, 앙상블)을 다룬다.
• 다중 도메인 학습, 데이터 선택, 혼합 파인튜닝을 도메인 데이터를 결합하는 실용적인 전략으로 논의한다.
• 데이터 가용성에 따른 방법 선택에 대한 지침과 실제 시나리오에 대한 논의를 제공한다.

실험 결과

연구 질문

• RQ1 도메인 내 병렬 데이터가 제한된 상황에서 어떤 도메인 적응 기법이 NMT에 효과적인가?
• RQ2 도메인 내 단일언어 데이터와 합성 데이터를 활용하여 NMT의 도메인 내 번역 품질을 어떻게 향상시킬 수 있는가?
• RQ3 NMT에서 데이터 중심과 모델 중심 도메인 적응 전략 간의 균형은 무엇이며 실제 배치에 어떻게 이전되는가?
• RQ4 도메인 정보는 (예: 도메인 태그, 구별자) 어떤 방식으로 도입되어 NMT의 도메인 특화 번역을 제어하거나 개선해야 하는가?
• RQ5 최첨단 NMT 아키텍처와 다국어 설정에 도메인 적응을 적용하기 위한 유망한 향후 방향은 무엇인가?

주요 결과

• 본 조사는 NMT 도메인 적응에 대해 데이터 중심과 모델 중심 접근의 두 가지 주요 범주를 확인한다.
• 데이터 중심 방법에는 도메인 내 단일언어 데이터 활용, 백번역(back-translation)을 통한 합성 병렬 데이터 생성, 도메인 태깅 또는 데이터 선택 기법을 통한 도메인 외 데이터 사용이 포함된다.
• 모델 중심 방법에는 학습 목표 조정, 아키텍처 변경(예: 딥 퓨전 및 도메인 구별자), 디코딩 전략(얕은 융합 및 격자 기반 디코딩) 등이 포함된다.
• 다중 도메인 및 데이터 선택 전략이 논의되며, 혼합 파인튜닝은 도메인 간 성능을 보존하면서 도메인 내 번역 품질을 향상시키는 실용적 이점을 제시한다.
• 본 논문은 도메인 기법을 최첨단 NMT 아키텍처(RNNs, CNNs, Transformer)에 맞춰 적용할 필요성을 강조하고, 향후 방향으로 적대적 도메인 적응, 도메인 생성, 다국어/다도메인 설정과 같은 방향을 논의한다.