[논문 리뷰] When Does Unsupervised Machine Translation Work?

Kelly Marchisio, Kevin Duh외 1명|arXiv (Cornell University)|2020. 04. 12.

Natural Language Processing Techniques참고 문헌 46인용 수 33

한 줄 요약

본 논문은 서로 다른 언어 간의 비지도 MT를 실험적으로 평가하여, 도메인 차이와 다양한 데이터 세트에서만 강력한 성능을 보이고, 근접한 조건에서만 안정성을 보이며 불안정성과 실패 지점을 강조한다.

ABSTRACT

Despite the reported success of unsupervised machine translation (MT), the field has yet to examine the conditions under which these methods succeed, and where they fail. We conduct an extensive empirical evaluation of unsupervised MT using dissimilar language pairs, dissimilar domains, diverse datasets, and authentic low-resource languages. We find that performance rapidly deteriorates when source and target corpora are from different domains, and that random word embedding initialization can dramatically affect downstream translation performance. We additionally find that unsupervised MT performance declines when source and target languages use different scripts, and observe very poor performance on authentic low-resource language pairs. We advocate for extensive empirical evaluation of unsupervised MT systems to highlight failure points and encourage continued research on the most promising paradigms.

연구 동기 및 목표

• 소스 언어와 타깃 언어가 서로 다를 때 비지도 MT의 성능이 어떻게 나타나는지 평가한다.
• 단일언어 말뭉치 간의 도메인 불일치가 비지도 MT에 미치는 영향을 평가한다.
• 다양한 데이터세트와 저자원 언어 시나리오에서의 강인성을 시험한다.
• 실패 모드를 강조하고 비지도 MT 시스템의 스트레스 테스트를 위한 데이터를 제공한다.

제안 방법

• 단일언어 말뭉치에서 교차언어 임베딩으로 가는 Artetxe 등 연구의 비지도 MT 파이프라인을 재현한다.
• 교차 도메인 유사도 측정을 통해 이중언어 어휘를 생성하기 위해 VecMap을 사용하여 단일언어 공간을 정렬한다.
• 임베딩에서 파생된 번역으로 초기 SMT 구문 기반 시스템을 구성하고 백번역(backtranslation)으로 개선한다.
• SMT와 NMT의 장점을 결합하기 위해 반복적 백번역으로 NMT 하이브리드화 단계를 통합한다.
• Parallel, Disjoint, Different Domain 설정을 포함한 다양한 데이터 조건에서 여러 언어쌍과 데이터세트에 대해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 서로 다른 문자 체계와 언어 계통을 가진 이질적 언어에 대해 비지도 MT가 작동할 수 있는가?
• RQ2 소스와 타깃 단일언어 말뭉치 간의 도메인 불일치가 번역 품질에 어떤 영향을 미치는가?
• RQ3 다양한 데이터세트와 실제 저자원 언어 쌍에서도 성능이 유지되는가?
• RQ4 현실적인 데이터 조건에서 비지도 MT 시스템을 학습할 때의 안정성 및 신뢰성 문제는 무엇인가?

주요 결과

• 소스와 타깃 코퍼스가 서로 다른 도메인에서 올 때 비지도 MT 성능이 빠르게 저하된다.
• 임베딩 학습의 확률적 특성은 이중언어 어휘 인덕션과 다운스트림 번역 성능에 극적으로 영향을 미칠 수 있다.
• 이질적 언어 쌍에 대해 비지도 MT가 더 도전적이며, Ru-En에서 Fr-En에 비해 BLEU 격차가 더 크게 나타난다.
• 학습 코퍼스와 테스트 데이터 간의 도메인 불일치는 매우 낮은 BLEU 점수를 낳을 수 있다(예: Diff. Dom. 조건에서 Ru-En은 0.7).
• 실제 저자원 쌍(Sinhala-English, Nepali-English)은 보충 데이터 없이 비지도 MT 성능이 매우 저조하다.
• 학습 안정성은 실행 간에 가변적이며, 초기 임베딩 공간 구성으로부터 상당한 다운스트림 영향을 받는다.