[論文レビュー] Contextual Parameter Generation for Universal Neural Machine Translation

Emmanouil Antonios Platanios, Mrinmaya Sachan+2 more|arXiv (Cornell University)|Aug 26, 2018

Natural Language Processing Techniques参考文献 15被引用数 12

ひとこと要約

この論文は、共有ニューラル機械翻訳モデル内で、言語固有のエンコーダーおよびデコーダーのパラメータを動的に生成する文脈的パrameter生成器（CPG）を提案する。これにより、性能向上を伴うユニバーサルな多言語翻訳が可能になる。本手法は、言語埋め込みをパラメータ生成の文脈として活用することで、IWSLT-15およびIWSLT-17で最先端の結果を達成し、アーキテクチャの変更なしにゼロショット翻訳と単語語彙微調整をサポートする。

ABSTRACT

We propose a simple modification to existing neural machine translation (NMT) models that enables using a single universal model to translate between multiple languages while allowing for language specific parameterization, and that can also be used for domain adaptation. Our approach requires no changes to the model architecture of a standard NMT system, but instead introduces a new component, the contextual parameter generator (CPG), that generates the parameters of the system (e.g., weights in a neural network). This parameter generator accepts source and target language embeddings as input, and generates the parameters for the encoder and the decoder, respectively. The rest of the model remains unchanged and is shared across all languages. We show how this simple modification enables the system to use monolingual data for training and also perform zero-shot translation. We further show it is able to surpass state-of-the-art performance for both the IWSLT-15 and IWSLT-17 datasets and that the learned language embeddings are able to uncover interesting relationships between languages.

研究の動機と目的

• ユニバーサルNMTモデルと個別言語NMTモデルの限界を克服し、共有アーキテクチャ内で言語固有のパrameter化を可能にする。
• 言語間で制御されたパラメータ共有を活用することで、低リソース環境におけるサンプル効率とパフォーマンスを向上させる。
• 追加のトレーニング手順なしに、単語語彙データを用いてゼロショット翻訳と半教師あり翻訳を可能にする。
• 言語の類似関係を反映する意味的で解釈可能な言語埋め込みを学習する。
• 最小限のアーキテクチャ変更で、既存のNMTモデルに即座に統合可能な拡張手法を提供する。

提案手法

• エンコーダーおよびデコーダーのモデル重みを生成する文脈的パrameter生成器（CPG）を導入し、入力としてソース言語およびターゲット言語の埋め込みを受ける。
• CPGは入力文ごとに動的にパラメータを生成し、コアモデルアーキテクチャを共有しつつ、言語固有の適応を可能にする。
• NMTモデルの残りの部分—エンコーダー、デコーダー、アテンション機構—は、すべての言語ペアで変更なしに共有される。
• 言語埋め込みは、全体のシステムの一部としてエンドツーエンドで学習され、言語間の関係を学習可能になる。
• CPGを用いることで、トレーニング時に見られなかった言語ペアに対しても、ゼロショット翻訳が可能になる。
• 単語語彙データは、ノイズ除去オートエンコーダーの目的関数を介して活用され、教師なし学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つのNMTモデルが、個別言語モデルの特化なしに、複数の言語ペアで強力なパフォーマンスを達成できるか？
• RQ2 アーキテクチャの変更なしに、共有モデル内で言語固有のパラメータ化を実現できるか？
• RQ3 CPGが、単語語彙データを用いた効果的なゼロショット翻訳および半教師あり学習を可能にするか？
• RQ4 学習された言語埋め込みが、既知の言語間の言語的関係を反映しているか？
• RQ5 完全な再トレーニングなしに、新しい言語に一般化できるか？

主な発見

• 提案手法は、IWSLT-15およびIWSLT-17の多言語翻訳ベンチマークで、最先端のパフォーマンスを達成した。
• Johnsonら（2017）を含む、既存のユニバーサルNMTアプローチを、低リソースおよび高リソース環境の両方で上回った。
• トレーニング時に見られなかった言語ペア間のゼロショット翻訳が可能であり、優れた一般化性能を示した。
• ノイズ除去オートエンコーディングの目的関数を通じて、単語語彙データを効果的に活用し、並列データなしでパフォーマンスを向上させた。
• 学習された言語埋め込みは、既知の言語的類似関係を捉えており、埋め込み間のコサイン距離が、例えばドイツ語とオランダ語のような言語系統の関係を反映していた。
• 制御された共有によりパラメータ数を削減しながらも、高いパフォーマンスを維持したため、スケーラブルでサンプル効率の高いアプローチとなった。