[논문 리뷰] Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation

Chenhui Chu, Raj Dabre|arXiv (Cornell University)|2019. 06. 19.

Natural Language Processing Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 Transformer 기반 신경 기계 번역(NMT) 모델을 위한 두 가지 새로운 도메인 적응 방법—도메인 특화 및 도메인 극단화—를 제안한다. 이는 도메인 특화된 표현이나 예측자 편향을 명시적으로 모델링한다. 이러한 방법들을 혼합 미세조정과 결합하고 다국어 데이터를 활용함으로써, 저자원 도메인 및 자원이 풍부한 비도메인 번역 작업 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose two novel methods for domain adaptation for the attention-only neural machine translation (NMT) model, i.e., the Transformer. Our methods focus on training a single translation model for multiple domains by either learning domain specialized hidden state representations or predictor biases for each domain. We combine our methods with a previously proposed black-box method called mixed fine tuning, which is known to be highly effective for domain adaptation. In addition, we incorporate multilingualism into the domain adaptation framework. Experiments show that multilingual multi-domain adaptation can significantly improve both resource-poor in-domain and resource-rich out-of-domain translations, and the combination of our methods with mixed fine tuning achieves the best performance.

연구 동기 및 목표

• 블랙박스 방법에 의존하는 대신 도메인 특화된 특징을 명시적으로 모델링하여 신경 기계 번역(NMT)에서 저자원 도메인 번역 문제를 해결한다.
• 인위적 토큰을 사용하거나 아키텍처 수정이 없는 기존 블랙박스 도메인 적응 기법의 한계를 극복하며, 이는 모델 학습 동역학을 은폐할 수 있다.
• 다국어 및 다도메인 적응을 통합한 유일한 프레임워크를 제안하여 다양한 언어 쌍과 도메인 간의 번역 성능을 향상시킨다.
• 기존 연구에서 RNN 기반 모델보다 우수한 성능을 보인 어텐션 전용 Transformer 아키텍처의 맥락에서 명시적 도메인 모델링의 효과성을 조사한다.
• 제안된 방법들을 혼합 미세조정과 조합했을 때, 도메인 내 및 도메인 외 번역 설정 모두에서 뛰어난 성능을 얻을 수 있음을 입증한다.

제안 방법

• 도메인 특화를 제안한다: 소프트맥스 이전에 디코더 상태를 수정하여 은닉 상태를 복제하고, 파arameter 증가를 줄이기 위해 다운프로젝션을 사용함으로써 도메인 특화 및 공유 특징 학습을 가능하게 한다.
• 도메인 극단화를 도입한다: 각 도메인에 대해 도메인 특화된 편향 벡터를 학습하고, 소프트맥스 이전의 최종 레이어 로짓에 더함으로써 모델이 도메인별로 예측을 적응시킬 수 있도록 한다.
• 혼합 미세조정(MFT)과 두 방법을 통합한다. MFT는 미세조정 중에 도메인 내 및 도메인 외 데이터를 결합하여 과적합을 방지하고 도메인 간 전이를 부드럽게 한다.
• 다국어 환경으로 프레임워크를 확장하기 위해 다수의 언어 쌍과 도메인에서 단일 모델을 훈련시켜 상호 언어 전이와 다도메인 데이터를 동시에 활용한다.
• 상태 복제로 인한 파라미터 증가를 줄이기 위해 학습 가능한 가중치 행렬 $ W_d \in \mathbb{R}^{|s_i| \times |s_i|/3} $ 를 사용한 다운프로젝션을 적용하여 모델 효율성을 유지한다.
• 인위적 도메인 토큰을 사전에 추가하지 않고, 대신 수정된 디코더 아키텍처를 통해 표현 또는 편향 적응을 통해 도메인 정체성을 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 디코더에서 도메인 특화된 표현을 명시적으로 모델링하면, 블랙박스 방법에 비해 저자원 도메인의 NMT 성능을 향상시킬 수 있는가?
• RQ2 도메인 특화된 편향 벡터를 학습하는 것(도메인 극단화)이 표준 미세조정 또는 다도메인 훈련보다 더 나은 일반화 및 성능을 이끌어낼 수 있는가?
• RQ3 다국어 및 다도메인 데이터를 결합하면 번역 성능에 어떤 영향을 미치는가? 특히 자원이 부족한 도메인과 도메인 외 언어 쌍에서의 성능에 대해 어떻게 영향을 미치는가?
• RQ4 제안된 방법들을 혼합 미세조정과 효과적으로 조합하면 도메인 내 및 도메인 외 번역 설정 모두에서 성능을 더욱 향상시킬 수 있는가?
• RQ5 다국어성 통합이 도메인 적응 NMT 모델의 강건성과 일반화 능력을 향상시키는 데 기여하는가? 특히 도메인과 언어 자원이 제한된 경우에 대해 어떻게 기여하는가?

주요 결과

• 도메인 특화와 혼합 미세조정의 조합(domspec+MFT)은 IWSLT-JE 도메인 내 번역 작업에서 BLEU-4 점수 27.48을 기록하여 기준 블랙박스 방법보다 유의미하게 높은 성능(유의수준 p < 0.05)을 달성했다.
• 다국어 다도메인 적응의 경우, domextr+MFT 방법이 KFTT-JE에서 전체적으로 26.50 BLEU-4의 최고 점수를 기록했으며, 바닐라 MFT 및 기타 기준보다 유의미한 향상을 보였다.
• MFT와 조합했을 때, 자원이 풍부한 도메인 외 번역 방향(예: IWSLT-JE 및 IWSLT-CE)의 번역 성능이 최대 1.5 BLEU 포인트 향상되어, 저자원 도메인을 넘어서 일반화 능력이 있음을 입증했다.
• 다국어 환경에서는 도메인 특화 및 극단화를 MFT와 조합한(domspecextr+MFT) 결과 IWSLT-JE에서 17.49 BLEU-4를 기록했으며, 블랙박스 방법과 단독 MFT보다 뛰어난 성능을 보였다.
• 다국어 다도메인 적응에서 가장 뛰어난 성능은 KFTT-JE에서 26.50 BLEU-4의 domextr+MFT로 달성되었으며, ‡ 기호로 표시되어 모든 데이터 설정에서 최고 점수임을 나타낸다.
• 도메인 내 데이터만으로 미세조정하면 도메인 외 성능이 열악해졌으며, 예를 들어 IWSLT-JE에서 BLEU 점수가 6.13에 머물렀다. 이는 도메인 외 데이터를 사용하고, 제안된 방법이 이동성 향상에 기여한다는 것을 확인한다.