[논문 리뷰] Domain Control for Neural Machine Translation

Catherine Kobus, Josep Crego외 1명|arXiv (Cornell University)|2016. 12. 19.

Natural Language Processing Techniques참고 문헌 16인용 수 16

한 줄 요약

이 논문은 재학습 없이도 단일 신경망이 여러 도메인에 적응할 수 있도록 하는 런타임 도메인 제어 기법을 제안한다. 문장 수준에서 도메인 특징을 인코더에 주입함으로써, 도메인 내, 도메인 외, 알 수 없는 도메인 테스트 세트에서 모두 번역 품질이 향상되며, 기준 모델 대비 일관된 BLEU 향상 효과를 보인다.

ABSTRACT

Machine translation systems are very sensitive to the domains they were trained on. Several domain adaptation techniques have been deeply studied. We propose a new technique for neural machine translation (NMT) that we call domain control which is performed at runtime using a unique neural network covering multiple domains. The presented approach shows quality improvements when compared to dedicated domains translating on any of the covered domains and even on out-of-domain data. In addition, model parameters do not need to be re-estimated for each domain, making this effective to real use cases. Evaluation is carried out on English-to-French translation for two different testing scenarios. We first consider the case where an end-user performs translations on a known domain. Secondly, we consider the scenario where the domain is not known and predicted at the sentence level before translating. Results show consistent accuracy improvements for both conditions.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터 간 도메인 이탈에 민감한 NMT 시스템의 문제를 해결하기 위해.
• 재학습 없이도 단일 NMT 모델이 여러 도메인에서 고품질 번역을 생성할 수 있도록 하기 위해.
• 통합 아키텍처를 사용하여 도메인 내 및 도메인 외 데이터의 번역 품질을 향상시키기 위해.
• 더 나은 도메인 인식 번역을 위해 신경 인코더에 도메인 메타정보를 효과적으로 주입하는 방법을 탐색하기 위해.

제안 방법

• 도메인 정보를 문장 수준에서 인코더의 입력 레이어에 연속 벡터로 주입한다.
• 각 단어에 도메인 특화 임베딩 벡터를 추가하는 특징 기반 접근 방식을 사용한다.
• Bahdanau 등(2014)의 기반으로 한 공유 인코더-디코더 아키텍처에 주의 메커니즘을 적용하며, 도메인 인식 입력 특징을 강화한다.
• 번역 전에 각 문장의 도메인을 예측하기 위해 추론 시기에 RNN 기반 도메인 분류기를 적용한다.
• 여러 도메인에 대한 문장의 근접도를 모델링하여 소프트 도메인 표현을 도입함으로써, 도메인 잘못 분류에 대한 강건성을 향상시키고자 한다.
• 6개 도메인에서 BLEU 점수를 사용해 성능을 평가하며, 새로운 도메인(대화)에서의 제로샷 테스트도 포함한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 NMT 모델이 여러 도메인에서 번역 품질을 향상시킬 수 있는가?
• RQ2 문장 수준에서 도메인 메타정보를 주입하는 방식이 도메인 특화 모델 대비 번역 품질에 어떤 영향을 미치는가?
• RQ3 도메인 제어가 도메인 외 또는 알 수 없는 도메인 테스트 세트에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 추론 시기에 잘못된 도메인 예측이 발생할 경우 모델의 강건성은 어느 정도인가?
• RQ5 모델은 문장 수준에서 도메인을 분류할 수 있으며, 이는 번역 성능 향상에 기여하는가?

주요 결과

• 특징 기반 도메인 주입 방법은 모든 테스트 세트에서 BLEU 점수를 향상시켰으며, 평균 0.80 BLEU 포인트 향상(의회 도메인 제외, 0.26 BLEU 포인트 향상)을 기록했다.
• 추가 토큰 방법은 성능 향상이 일부 도메인에서는 이루어졌지만 다른 도메인에서는 성능 저하를 초래하여, 일관되게 유익한 특징 방법과 대비되었다.
• RNN 기반 분류기가 도메인을 잘못 분류한 경우에도 특징 모델은 기준 모델인 Join 모델을 능가했으며, 이는 예측 오류에 대한 강건성을 시사한다.
• 잘못된 도메인 태그를 사용할 경우 번역 품질이 크게 저하되었으며, 특히 IT 도메인에서 민감도가 높아 도메인 선택의 중요성을 강조했다.
• 참고 번역이 제공된 경우 예측된 도메인과 실제 도메인 간 높은 상관관계를 보여, 모델이 도메인 분류 능력을 학습했다는 증거가 되었다.
• 학습 데이터에 포함되지 않은 대화 도메인에서의 제로샷 테스트 세트에서도 기준 모델을 능가하는 성능을 보이며 강력한 일반화 능력을 입증했다.