[논문 리뷰] When and Why is Unsupervised Neural Machine Translation Useless?

Yunsu Kim, Graça, Miguel외 1명|arXiv (Cornell University)|2020. 04. 22.

Natural Language Processing Techniques참고 문헌 51인용 수 10

한 줄 요약

이 논문은 비지도 학습 신경 기계 번역(NMT)이 실생활에서 언제, 왜 실패하는지 조사하며, 단일 언어 데이터 간 언어적 비유사성과 도메인 불일치로 인해 성능이 심각하게 떨어진다는 것을 보여준다. 최신 기술 수준의 모델임에도 불구하고, 단지 5만 개의 양방향 문장만으로도 비지도 학습 시스템을 능가하는 지도 학습 및 준지도 학습 베이스라인 모델이 존재하며, 특히 자원이 부족한 환경에서 더욱 두드러지게 나타나, 비지도 NMT는 가장 필요로 하는 곳에서 실질적으로 효과적이지 않다.

ABSTRACT

This paper studies the practicality of the current state-of-the-art unsupervised methods in neural machine translation (NMT). In ten translation tasks with various data settings, we analyze the conditions under which the unsupervised methods fail to produce reasonable translations. We show that their performance is severely affected by linguistic dissimilarity and domain mismatch between source and target monolingual data. Such conditions are common for low-resource language pairs, where unsupervised learning works poorly. In all of our experiments, supervised and semi-supervised baselines with 50k-sentence bilingual data outperform the best unsupervised results. Our analyses pinpoint the limits of the current unsupervised NMT and also suggest immediate research directions.

연구 동기 및 목표

• 다양한 언어 쌍과 데이터 설정에서 비지도 NMT의 실용적 효과성을 평가하기 위해.
• 자원이 부족하고 실제 환경에서 비지도 NMT가 실패하는 핵심 원인을 규명하기 위해.
• 조금의 양방향 데이터가 존재하는 경우 비지도 NMT가 실현 가능한지 판단하기 위해.
• 비지도 학습 대비 지도 학습/준지도 학습 접근법을 언제 사용할 것인지에 대한 실질적인 지침을 제공하기 위해.
• 현재 비지도 NMT의 핵심 한계를 해결하는 데 향후 연구 방향을 제안하기 위해.

제안 방법

• 독일어-영어, 러시아어-영어, 중국어-영어, 카자흐어-영어, 구자라트어-영어 등 다섯 가지 언어 쌍에서 10개의 번역 작업을 수행하였다.
• 5만 문장 이상의 다양한 양방향 데이터를 사용하여 비지도 NMT를 지도 학습 및 준지도 학습 베이스라인과 비교하였다.
• 단일 언어 데이터의 크기와 도메인을 다양화하여 데이터 분포 불일치 상황에서의 강건성 평가를 수행하였다.
• 공통된 시퀀스-투-시퀀스 모델을 사용하고, 양방향 학습 및 노이즈 제거 오토인코더 목표를 통한 백트랜슬레이션을 적용하였다.
• 교차 언어 언어 모델(LM)을 초기화로 사용하고, 초기화 품질이 최종 성능에 미치는 영향을 분석하였다.
• 번역 출력에 대한 정성적 분석을 수행하여 입력 단어 복사 및 잘못된 숫자 매핑 등의 실패 유형을 진단하였다.

실험 결과

연구 질문

• RQ1 비지도 NMT가 의미 있는 번역을 생성하지 못하는 데이터 및 언어 조건은 무엇인가?
• RQ2 원천 언어와 목표 언어 간 언어적 거리가 비지도 NMT 성능에 어떻게 영향을 미치는가?
• RQ3 단일 언어 원천 및 목표 코퍼스 간 도메인 불일치가 비지도 NMT 결과에 얼마나 심각하게 악영향을 미치는가?
• RQ4 작은 규모의 양방향 데이터(예: 5만 문장)가 대규모 비지도 NMT 시스템을 항상 능가할 수 있는가?
• RQ5 초기 교차 언어 언어 모델의 품질이 최종 번역 성능에 어떤 역할을 하는가?

주요 결과

• 모든 실험에서, 단지 5만 개의 양방향 문장 쌍만으로도 비지도 NMT 시스템의 최고 성능을 능가하는 지도 학습 및 준지도 학습 베이스라인이 성립하였다.
• 비지도 NMT 실패의 주요 원인은 단일 언어 코퍼스 간 언어적 비유사성과 도메인 불일치였으며, 특히 자원이 부족한 환경에서 두드러졌다.
• 비지도 NMT의 성능은 초기 교차 언어 언어 모델의 품질과 강하게 상관되었으며, 이는 최종 결과의 핵심 결정 요소였다.
• 모델은 입력 단어를 그대로 출력에 복사하는 경향이 있었으며, 특히 교차 언어 인코더가 입력 언어 정체성을 마스킹하지 못할 경우 문제가 악화되었다. 이는 초기화가 열악할 경우 더욱 악화되었다.
• 백트랜슬레이션을 사용하더라도, 동음이의어나 맥락적으로 모호한 단어(예: 'Four' 대비 'Eight')의 매핑을 올바르게 수행하지 못해 문제가 있었다. 이는 모호한 맥락에서의 품질이 떨어지는 사전 훈련으로 인한 결과였다.
• 인코더에 언어 임베딩을 사용할 경우 복사 문제를 악화시켰으며, 이를 제거함으로써 러시아어-영어 번역에서 BLEU 점수를 4.3%에서 11.9%로 향상시킬 수 있었다.