[논문 리뷰] Domain Robustness in Neural Machine Translation

Mathias Müller, Annette Rios외 1명|arXiv (Cornell University)|2019. 11. 08.

Natural Language Processing Techniques참고 문헌 37인용 수 63

한 줄 요약

논문은 SMT와 NMT의 도메인 강건성을 분석하고, NMT는 유창하지만 보지 못한 도메인에서 종종 불충분한 경우가 많아 환각이 발생한다는 점을 보이며, 도메인 강건성을 개선하기 위한 방법들을 평가하고 중간 정도의 이득을 제공하며, 향후 연구를 위한 baselines를 제시한다.

ABSTRACT

Translating text that diverges from the training domain is a key challenge for machine translation. Domain robustness---the generalization of models to unseen test domains---is low for both statistical (SMT) and neural machine translation (NMT). In this paper, we study the performance of SMT and NMT models on out-of-domain test sets. We find that in unknown domains, SMT and NMT suffer from very different problems: SMT systems are mostly adequate but not fluent, while NMT systems are mostly fluent, but not adequate. For NMT, we identify such hallucinations (translations that are fluent but unrelated to the source) as a key reason for low domain robustness. To mitigate this problem, we empirically compare methods that are reported to improve adequacy or in-domain robustness in terms of their effectiveness at improving domain robustness. In experiments on German to English OPUS data, and German to Romansh (a low-resource setting) we find that several methods improve domain robustness. While those methods do lead to higher BLEU scores overall, they only slightly increase the adequacy of translations compared to SMT.

연구 동기 및 목표

• SMT와 NMT가 외부 도메인 테스트 세트에서 어떻게 수행되는지 평가한다.
• 외부 도메인 번역의 오류 특성을 차분하게 파악한다(유창성 대 적합성).
• 도메인 강건성을 개선하려는 방법들(적합성, 강건성, 혹은 외부 도메인 번역)을 평가한다.
• 향후 도메인 강건성 연구를 위한 데이터셋과 코드를 기준선으로 제공한다.

제안 방법

• OPUS/다양한 코퍼스의 여러 도메인을 포함하는 German→English 및 German→Romansh에서 기본 SMT와 NMT 시스템을 비교한다.
• 자동적으로(BLEU, OOV 비율) 및 수동적으로(적합성 및 유창성) 분석하여 도메인 강건성을 특성화한다.
• 서브워드 규칙화(subword regularization), 방어적 증류(defensive distillation), 재구성(reconstruction), 신경적 노이즈 채널 재정렬(neural noisy channel reranking), 그리고 이들의 조합과 같은 여러 강건성 향상 기법을 평가한다.
• 도메인 내 데이터와 도메인 외 데이터에서 이 방법들을 조정하고 테스트하여 cross-domain 이득을 평가한다.

실험 결과

연구 질문

• RQ1 도메인 외 텍스트를 번역할 때 SMT와 NMT의 열화 차이는 유창성 대 적합성 측면에서 어떻게 나타나는가?
• RQ2 적합성이나 도메인 내 강건성을 향상시키도록 고안된 기법이 보지 못한 도메인에서도 도메인 강건성을 향상시킬 수 있는가?
• RQ3 환각을 줄이고 교차 도메인 번역 품질을 가장 효과적으로 개선하는 방법은 무엇인가?
• RQ4 BLEU의 향상이 도메인 간 적합성의 향상으로도 일관되게 반영되는가?
• RQ5 강건성 기법의 조합이 도메인과 데이터 조건에 따라 효과적인가?

주요 결과

• NMT는 유창하지만 외부 도메인 번역에서 종종 불충분한 반면, SMT는 더 적합하지만 덜 유창하다.
• 환각(hallucinations; 콘텐츠와 관련 없는 유창성)은 외부 도메인 데이터에서 NMT의 주요 문제이며, SMT는 환각이 더 적다.
• 재구성(reconstruction)과 노이즈 채널 재정렬(noisy channel reranking)은 교차 도메인에서 견고한 이득을 주고 환각을 줄이며, 재구성은 특히 불충분한 번역을 줄이는 데 기여한다.
• 서브워드 규칙화(subword regularization)은 저자원 도메인 내부에서 또는 일부 외부 도메인 설정에서 이점을 주지만 cross-domain 적합성이나 BLEU를 지속적으로 향상시키지는 못한다.
• 재구성과 노이즈 채널 재정렬의 조합은 테스트된 도메인과 데이터 조건에서 가장 일관된 cross-domain BLEU 향상을 제공한다.
• 전반적으로 NMT의 도메인 강건성은 여전히 도전적이며 BLEU의 향상이 도메인 간 적합성의 향상으로 일관되게 이어지지 않는다.