[논문 리뷰] Multi-Domain Neural Machine Translation with Word-Level Adaptive Layer-wise Domain Mixing

Haoming Jiang, Liang Chen외 2명|arXiv (Cornell University)|2019. 11. 07.

Natural Language Processing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 단일 도메인 공유 인코더에 의존하는 기존 다중 도메인 NMT 모델의 한계를 해결하기 위해 단어 수준, 적응형, 계층 수준의 도메인 혼합을 사용하는 다중 도메인 신경 기계 번역 모델을 제안한다. 각 단어와 계층에 대해 동적으로 도메인 비율을 할당하고, 도메인 특화 다중 헤드 어텐션 모듈을 가중 평균으로 조합함으로써, 도메인 공유 및 도메인 특화 지식 학습을 향상시킨다. 이 모델은 여러 NMT 벤치마크에서 최신 기술 수준의 성능을 달성하며, 다중 도메인 및 단일 도메인 번역 작업 모두에서 기존 방법을 능가한다.

ABSTRACT

Many multi-domain neural machine translation (NMT) models achieve knowledge transfer by enforcing one encoder to learn shared embedding across domains. However, this design lacks adaptation to individual domains. To overcome this limitation, we propose a novel multi-domain NMT model using individual modules for each domain, on which we apply word-level, adaptive and layer-wise domain mixing. We first observe that words in a sentence are often related to multiple domains. Hence, we assume each word has a domain proportion, which indicates its domain preference. Then word representations are obtained by mixing their embedding in individual domains based on their domain proportions. We show this can be achieved by carefully designing multi-head dot-product attention modules for different domains, and eventually taking weighted averages of their parameters by word-level layer-wise domain proportions. Through this, we can achieve effective domain knowledge sharing, and capture fine-grained domain-specific knowledge as well. Our experiments show that our proposed model outperforms existing ones in several NMT tasks.

연구 동기 및 목표

• 기존 다중 도메인 NMT 모델이 단일 공유 인코더에 의존하여 개별 도메인에 잘 적응하지 못하는 한계를 해결하기 위해.
• 각 단어가 계층을 통해 여러 도메인 비율을 가질 수 있도록 허용하여, 맥락에 따라 조정 가능한 세밀한 도메인 지식 공유를 가능하게 하기 위해.
• 도메인 특화 어텐션 모듈의 적응형 혼합을 통해 도메인 공유 및 도메인 특화 표현을 동시에 캡처하여 번역 성능을 향상시키기 위해.
• 단어 수준, 계층 수준의 도메인 혼합이 표준 통합 또는 임베딩 기반 다중 도메인 NMT 접근 방식을 능가할 수 있음을 입증하기 위해.

제안 방법

• 각 도메인에 대해 별도의 다중 헤드 도트 프로덕트 어텐션 모듈을 구성하여 도메인 특화 표현 학습을 가능하게 한다.
• 각 단어에 대해 계층별 도메인 비율을 계산하여 맥락에 따른 다양한 도메인 선호도를 반영한다.
• 단어의 계층별 도메인 비율을 가중치로 사용하여 도메인 특화 어텐션 모듈의 파라미터 가중 평균을 취해 단어 표현을 생성한다.
• 각 단어의 도메인 비율은 계층을 거쳐 변화하는 학습 가능한 맥락 의존 벡터로 모델링된다.
• 기존의 도메인 인식 임베딩 기법(예: MTL, AdvL, PAdvL)과 통합하기 위해 도메인 비율 모듈에서 임베딩 공간으로 기울기 흐름을 허용한다.
• 역전파를 통한 엔드 투 엔드 훈련을 지원하여 도메인 혼합과 번역 작업을 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 단어 수준, 계층 수준의 도메인 혼합이 도메인 간 적응형 지식 공유를 가능하게 하여 다중 도메인 NMT 성능을 향상시킬 수 있는가?
• RQ2 각 단어와 계층에 대해 도메인 비율을 동적으로 할당할 경우, 모델이 도메인 특화 단어 의미를 해석하는 데 어떤 영향을 미치는가?
• RQ3 도메인 특화 어텐션 모듈이 도메인 특화 언어 패턴을 포착하는 데 단일 공유 인코더보다 얼마나 뛰어나게 작용하는가?
• RQ4 제안된 혼합 메커니즘이 기존의 도메인 인식 임베딩 기법과 효과적으로 조합되어 번역 품질을 추가로 향상시킬 수 있는가?
• RQ5 도메인 비율은 계층을 거쳐 어떻게 변화하는가? 이는 네트워크 내 지식 공유 및 특화 과정에 대해 무엇을 드러내는가?

주요 결과

• 제안된 모델은 여러 다중 도메인 NMT 벤치마크에서 최신 기술 수준의 BLEU 점수를 달성하며, 통합 모델 및 임베딩 기반 접근 방식을 포함한 기존 방법들을 능가한다.
• 중국어-영어 번역 작업에서 도메인 혼합과 PAdvL 임베딩 훈련을 조합함으로써 기준 모델 대비 BLEU 점수가 최대 0.48점 향상되었다.
• 디코더의 도메인 비율이 인코더보다 더 균형을 깨뜨린 경향이 있었으며, 이는 디코더에서 도메인 지식 공유가 약해 성능 향상에 제한을 둔다는 것을 시사했다. 이는 독일어-영어 번역 작업에서 성능 향상이 제한된 이유로 작용했다.
• 진화하는 도메인 비율 덕분에 단어의 의미 해석이 향상되었다. 예를 들어, 같은 단어인 'article'이 맥락과 계층에 따라 '법률' 또는 '매체' 등 다른 도메인으로 매핑될 수 있었다.
• 도메인 비율의 계층적 변화를 통해 모델이 도메인 특화 표현을 효과적으로 포착했음을 확인할 수 있었으며, 단어가 다양한 깊이에서 다른 도메인 선호도를 보였다.
• 실험을 통해 도메인 혼합 메커니즘이 도메인 인식 임베딩 기법과 상호보완적임을 확인하였으며, 두 기법을 조합할 경우 성능 향상이 추가로 이루어졌다.