[논문 리뷰] Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings

Zi-Yi Dou, Junjie Hu외 2명|arXiv (Cornell University)|2019. 08. 27.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 모델 중심의 비지도 도메인 적응 방법인 도메인 인지 특성 임베딩(DAFE)을 제안한다. DAFE는 보조 언어 모델링 작업을 통해 도메인 특화 표현을 학습하며, 은닉 상태를 도메인 인지 및 작업 인지 성분으로 분리함으로써, 도메인 내 병렬 데이터 없이도 제어 가능한 도메인 적응 번역을 가능하게 한다. 기존의 베이스라인 대비 최대 5 BLEU 포인트 향상되며, 백트랜스레이션과 조합할 경우 보완적인 성능 향상을 이룬다.

ABSTRACT

The recent success of neural machine translation models relies on the availability of high quality, in-domain data. Domain adaptation is required when domain-specific data is scarce or nonexistent. Previous unsupervised domain adaptation strategies include training the model with in-domain copied monolingual or back-translated data. However, these methods use generic representations for text regardless of domain shift, which makes it infeasible for translation models to control outputs conditional on a specific domain. In this work, we propose an approach that adapts models with domain-aware feature embeddings, which are learned via an auxiliary language modeling task. Our approach allows the model to assign domain-specific representations to words and output sentences in the desired domain. Our empirical results demonstrate the effectiveness of the proposed strategy, achieving consistent improvements in multiple experimental settings. In addition, we show that combining our method with back translation can further improve the performance of the model.

연구 동기 및 목표

• 도메인 내 병렬 데이터가 확보되지 않은 저자원 또는 도메인 외부 설정에서 NMT 성능이 열 劣하는 문제를 해결하기 위해.
• 기존의 비지도 도메인 적응 방법에서 일반적인 표현을 사용함으로써 도메인 특화 의미를 모델링하지 못하는 한계를 극복하기 위해.
• 분리된 도메인 인지 표현을 학습함으로써 제어 가능한 도메인 특화 번역 출력을 가능하게 하기 위해.
• 저자원 환경에서도 효과적이며, 백트랜스레이션과 같은 데이터 중심 기법과 보완적으로 작용할 수 있는 방법을 개발하기 위해.

제안 방법

• DAFE는 공유 기반 네트워크와 별도의 도메인 및 작업 인지 특성 임베딩 학습기로 모델을 분리하여 도메인 특화 표현을 생성한다.
• 도메인 인지 특성 임베딩은 단일 언어 데이터에 대한 보조 언어 모델링 목적 함수를 통해 학습되며, 도메인 내 병렬 데이터 없이도 도메인 특화 표현 학습이 가능하다.
• 최종 레이어 출력은 기반 네트워크 표현과 학습된 도메인 및 작업 임베딩을 원소별 덧셈으로 조합하여 형성된다.
• 이 방법은 트랜스포저 기반 NMT 아키텍처에 통합되어, 도메인 간 공유 기반 파rameter를 사용한 엔드 투 엔드 학습이 가능하다.
• 추론 시 디코더를 원하는 도메인 임베딩에 조건화함으로써 도메인 제어를 달성하여 목표 도메인 출력 생성이 가능하다.
• 저자원 및 다중 도메인 설정에서 평가되었으며, 구성 요소 기여도를 검증하기 위한 아블레이션 스터디가 수행되었다.

실험 결과

연구 질문

• RQ1 일반적인 표현 대신 도메인 인지 표현을 학습함으로써 NMT에서 비지도 도메인 적응을 향상시킬 수 있는가?
• RQ2 제안된 DAFE 방법이 표준 백트랜스레이션 또는 데이터 복사 방법보다 출력 도메인에 대해 더 나은 제어를 가능하게 하는가?
• RQ3 백트랜스레이션이 낮은 품질의 합성 데이터로 인해 성능이 떨어질 수 있는 저자원 설정에서 DAFE는 어떻게 성능을 내는가?
• RQ4 DAFE는 백트랜스레이션과 같은 데이터 중심 기법과 보완적으로 작용하는가? 그리고 효과적으로 조합될 수 있는가?
• RQ5 정확한 도메인 임베딩에 조건화되었을 때 모델은 도메인 특화 어휘와 표현을 생성할 수 있는가?

주요 결과

• DAFE는 독립된 도메인 쌍(독일어-영어, 체코어-영어, 다국어 설정 포함)에서 기반 모델 대비 최대 5 BLEU 포인트 향상된 성능을 기록했다.
• WMT'14 독일어-영어 의료 번역 작업에서, DAFE는 기반 모델의 24.61 BLEU에서 26.75 BLEU로 향상되었으며, 백트랜스레이션과 조합할 경우 28.09 BLEU로 더욱 향상되었다.
• 저자원 설정에서는 백트랜스레이션이 낮은 품질의 합성 데이터로 인해 성능이 떨어질 수 있는 반면, DAFE는 이에 비해 뚜렷이 뛰어난 성능을 보였다.
• 잘못된 도메인 임베딩을 입력하면 성능 저하가 발생함을 확인하여, 도메인 제어가 효과적이고 의도적인 방식으로 작용함을 입증했다.
• 의료 임베딩 하에서 'EMEA'와 'intramuscular'와 같은 도메인 특화 용어, IT 임베딩 하에서 'bug'와 'developers'와 같은 용어를 생성함으로써 성공적인 도메인 제어가 이루어졌음을 보여주었다.
• DAFE와 백트랜스레이션을 조합하면 최고의 성능을 기록하였으며, MED 작업에서 38.79 BLEU를 달성하여 두 접근 방식 간 상호 보완성과 독립성을 입증했다.