[논문 리뷰] On Learning Language-Invariant Representations for Universal Machine Translation

Han Zhao, Junjie Hu외 1명|arXiv (Cornell University)|2020. 08. 11.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 통합 기계 번역에서 언어에 관계없는 표현에 대한 이론적 분석을 처음으로 제공하며, 구조적 가정이 없을 경우 어떤 공유 표현 학습 방법이라도 적어도 한 언어 쌍에서 높은 번역 오차를 초래해야 한다고 증명한다. 자연스러운 인코더-디코더 생성 모델 하에서, 모든 미리보지 않은 언어 쌍 간의 일반화에 충분한 언어 쌍의 수는 제곱 수가 아니라 선형 수여야 하며, 언어 연결 그래프에서 경로가 길수록 성능 저하가 발생한다.

ABSTRACT

The goal of universal machine translation is to learn to translate between any pair of languages, given a corpus of paired translated documents for \emph{a small subset} of all pairs of languages. Despite impressive empirical results and an increasing interest in massively multilingual models, theoretical analysis on translation errors made by such universal machine translation models is only nascent. In this paper, we formally prove certain impossibilities of this endeavour in general, as well as prove positive results in the presence of additional (but natural) structure of data. For the former, we derive a lower bound on the translation error in the many-to-many translation setting, which shows that any algorithm aiming to learn shared sentence representations among multiple language pairs has to make a large translation error on at least one of the translation tasks, if no assumption on the structure of the languages is made. For the latter, we show that if the paired documents in the corpus follow a natural \emph{encoder-decoder} generative process, we can expect a natural notion of ``generalization'': a linear number of language pairs, rather than quadratic, suffices to learn a good representation. Our theory also explains what kinds of connection graphs between pairs of languages are better suited: ones with longer paths result in worse sample complexity in terms of the total number of documents per language pair needed. We believe our theoretical insights and implications contribute to the future algorithmic design of universal machine translation.

연구 동기 및 목표

• 통합 기계 번역에서 언어에 관계없는 표현을 학습하는 것과 높은 번역 정확도를 달성하는 것 사이의 기본적인 상충 관계를 이해하기 위해.
• 모든 언어 쌍 간의 효과적인 번역을 가능하게 하기 위해 필요한 최소한의 평행 언어 쌍 수를 조사하기 위해.
• 언어 연결 구조(예: 그래프 거리)가 표본 복잡도와 일반화 성능에 어떻게 영향을 미치는지 기술하기 위해.
• 평행 코퍼스의 생성 모델 하에서 결정론적 및 랜덤화 설정 모두에서 일반화에 대한 이론적 보장을 수립하기 위해.

제안 방법

• 다양한 언어 쌍 간의 공통 문장 표현 학습 문제로 통합 기계 번역을 공식화한다.
• 언어별 문장 분포에 대한 확률 분포를 사용하는 이론적 프레임워크를 도입하고, 예측 복원 손실의 기대값을 통해 번역 오차를 정의한다.
• 불가능성 결과를 증명한다: 구조적 가정이 없을 경우, 어떤 공유 표현이라도 적어도 한 번역 작업에서 높은 오차를 초래해야 한다.
• 문장을 진짜 인코더-디코더 과정을 통해 생성하는 생성 모델을 제안하여 일반화에 대한 이론적 분석을 가능하게 한다.
• 표본 복잡도 한계를 유도하여, 번역 그래프에서 연결되어 있으면서도 모든 쌍에서 양호한 성능을 내기 위해 선형 수의 언어 쌍이 충분함을 보여준다.
• 노이즈 제거 오토인코더와 부드러움 가정을 사용한 랜덤화 모델로 결과를 확장하여, 더 느슨한 조건 하에서도 일반화 보장을 유지한다.

실험 결과

연구 질문

• RQ1 통합 기계 번역에서 언어에 관계없는 표현과 번역 정확도 사이의 기본적인 상충 관계는 무엇인가?
• RQ2 모든 언어 쌍 간의 좋은 일반화를 달성하기 위해 필요한 평행 언어 쌍의 수는 얼마인가?
• RQ3 언어 연결 그래프의 구조(예: 경로 길이)는 통합 번역기 학습의 표본 복잡도에 어떻게 영향을 미치는가?
• RQ4 실제 생성 모델 하에서, 예측하지 않은 언어 쌍으로의 일반화를 달성할 수 있는가?
• RQ5 랜덤화 모델(예: 노이즈 제거 오토인코더)은 통합 기계 번역에서 일반화 및 오차 한계에 어떻게 영향을 미치는가?

주요 결과

• 언어 분포에 대한 어떤 구조적 가정도 없이 언어에 관계없는 표현을 학습할 경우, 이론적으로는 적어도 한 언어 쌍에서 높은 번역 오차를 피할 수 없다.
• 자연스러운 인코더-디코더 생성 모델 하에서, 모든 언어 쌍에 대해 양호한 인코더와 디코더를 학습하기 위해 제곱 수가 아니라 선형 수의 언어 쌍이 충분하다.
• 언어 연결 그래프에서 언어 쌍 간의 경로가 길수록 번역 일반화의 품질이 떨어지며, 이는 더 긴 경로가 더 높은 표본 복잡도를 요구하기 때문이다.
• 노이즈 제거 메커니즘을 포함한 랜덤화 설정에서는, 모델 가정의 부드러움과 유계성 가정 하에서 일반화 한계가 유지된다.
• 이론적 오차 한계는 소스 언어와 타겟 언어 사이의 최단 경로를 따라 오차의 합에 비례하여 스케일링되며, 이는 직접적 또는 짧은 경로 연결이 더 표본 효율적임을 시사한다.
• 결과는 다국어 모델의 경험적 성공에 대한 공식적 근거를 제공하며, 유리한 언어 그래프 구조를 식별함으로써 향후 알고리즘 설계를 안내한다.