[論文レビュー] On Learning Language-Invariant Representations for Universal Machine Translation

Han Zhao, Junjie Hu+1 more|arXiv (Cornell University)|Aug 11, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、包括的機械翻訳における言語不変表現の理論的分析を初めて提供し、構造的仮定がなければ、共有表現を学習するいかなる手法でも、少なくとも1つの言語対に対して高い翻訳誤差を生じることを証明している。自然なエンコーダ・デコーダ生成モデルのもとで、すべての未知の言語対にわたる良好な一般化には、四乗ではなく線形に多くの言語対が十分であることが示され、言語接続グラフにおける長いパスでは性能が低下することが分かった。

ABSTRACT

The goal of universal machine translation is to learn to translate between any pair of languages, given a corpus of paired translated documents for \emph{a small subset} of all pairs of languages. Despite impressive empirical results and an increasing interest in massively multilingual models, theoretical analysis on translation errors made by such universal machine translation models is only nascent. In this paper, we formally prove certain impossibilities of this endeavour in general, as well as prove positive results in the presence of additional (but natural) structure of data. For the former, we derive a lower bound on the translation error in the many-to-many translation setting, which shows that any algorithm aiming to learn shared sentence representations among multiple language pairs has to make a large translation error on at least one of the translation tasks, if no assumption on the structure of the languages is made. For the latter, we show that if the paired documents in the corpus follow a natural \emph{encoder-decoder} generative process, we can expect a natural notion of ``generalization'': a linear number of language pairs, rather than quadratic, suffices to learn a good representation. Our theory also explains what kinds of connection graphs between pairs of languages are better suited: ones with longer paths result in worse sample complexity in terms of the total number of documents per language pair needed. We believe our theoretical insights and implications contribute to the future algorithmic design of universal machine translation.

研究の動機と目的

• 包括的機械翻訳における言語不変表現の学習と高い翻訳精度を達成することの根本的トレードオフを理解すること。
• 任意の言語対間での効果的な翻訳を可能にするために必要な最小の並列言語対の数を調査すること。
• 言語接続の構造（例：グラフ距離）が標本複雑度と一般化性能に与える影響を特定すること。
• 並列コーパスの生成的モデルの下で、決定的および確率的設定の両方において一般化の理論的保証を確立すること。

提案手法

• 複数の言語対にわたる共有文表現の学習という問題として、包括的機械翻訳を形式化する。
• 言語固有の文分布上の確率分布を用いた理論的枠組みを導入し、期待再構成誤差を用いて翻訳誤差を定義する。
• 不可能性結果を証明：構造的仮定がなければ、いかなる共有表現も、少なくとも1つの翻訳タスクで高い誤差を生じることになる。
• 文が真のエンコーダ・デコーダプロセスによって生成される生成的モデルを提案し、一般化の理論的分析を可能にする。
• 線形に多くの言語対が十分であることを示す標本複雑度の上限を導出する。これは、翻訳グラフ内で接続されている場合に限る。
• ノイズ除去オートエナコーダーと滑らかさの仮定を用いた確率的モデルへと結果を拡張し、緩い条件下でも一般化保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 包括的機械翻訳における言語不変性と翻訳精度の根本的トレードオフは何か？
• RQ2 すべての言語対にわたる良好な一般化を達成するために、どの程度の並列言語対が必要か？
• RQ3 言語接続グラフの構造（例：経路長）は、学習の標本複雑度にどのように影響するか？
• RQ4 並列コーパスの現実的な生成的モデルの下で、未知の言語対への一般化は達成可能か？
• RQ5 確率的モデル（例：ノイズ除去オートエナコーダー）は、包括的機械翻訳における一般化と誤差上限にどのように影響するか？

主な発見

• 言語分布に関するいかなる構造的仮定もなければ、言語不変表現を学習する際、少なくとも1つの言語対で高い翻訳誤差を避けられないことが理論的に示された。
• 自然なエンコーダ・デコーダ生成モデルのもとで、すべての言語対にわたる良好なエンコーダおよびデコーダの学習には、四乗ではなく線形に多くの言語対が十分である。
• 言語接続グラフにおける言語対間の経路が長くなるほど、翻訳一般化の品質が低下し、必要な標本複雑度が増加することが分かった。
• ノイズ除去機構を備えた確率的設定では、モデル族の滑らかさと有界性の仮定のもとで、一般化境界が保持される。
• 理論的誤差境界は、出発言語と目的言語間の最短経路に沿った誤差の合計に比例し、直接的または短経路の接続が、より標本効率的であることを示唆している。
• 本結果は、多言語モデルの実験的成功を形式的根拠づけ、望ましい言語グラフ構造を特定することで、将来的なアルゴリズム設計を支援する。