[論文レビュー] Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders

Carlos Escolano, Marta R. Costa‐jussà+2 more|arXiv (Cornell University)|May 29, 2020

Natural Language Processing Techniques参考文献 20被引用数 8

ひとこと要約

本稿では、言語固有のエンコーダーとデコーダーを用いた多言語機械翻訳システムを提案する。この手法は、モジュールを交互に固定することで共通の中間表現を強制的に学習する。この方法により、再訓練を伴わずに言語を段階的に追加可能となり、初期言語の性能が向上する。また、自然言語推論などの下流タスクにおける文表現の質も向上するが、ゼロショット翻訳や新規言語翻訳の設定ではわずかな性能低下が生じる。

ABSTRACT

We propose a modular architecture of language-specific encoder-decoders that constitutes a multilingual machine translation system that can be incrementally extended to new languages without the need for retraining the existing system when adding new languages. Differently from previous works, we simultaneously train $N$ languages in all translation directions by alternately freezing encoder or decoder modules, which indirectly forces the system to train in a common intermediate representation for all languages. Experimental results from multilingual machine translation show that we can successfully train this modular architecture improving on the initial languages while falling slightly behind when adding new languages or doing zero-shot translation. Additional comparison of the quality of sentence representation in the task of natural language inference shows that the alternately freezing training is also beneficial in this direction.

研究の動機と目的

• 既存のコンponentを再訓練せずに、多言語ニューラル機械翻訳システムに新しい言語を追加する課題に対処すること。
• モジュラーで言語固有のエンコーダー・デコーダー構造において、言語間で一般化された共通の中間表現を向上させること。
• 既存言語の性能を維持したまま、システムの段階的拡張を可能にすること。
• エンコーダー・デコーダーのモジュールを交互に固定することで、標準的な共同学習と比較して、より優れた多言語文表現が得られるかどうかを評価すること。
• 本手法を、先行の言語固有で共有パラメータを持たないアプローチと比較し、多言語翻訳およびゼロショット転送の文脈で評価すること。

提案手法

• 各言語に対して別々の非共有エンコーダーとデコーダーを用い、それぞれが共通の中間表現空間へマッピングするように訓練される。
• 訓練中、異なる言語ペアに対してエンコーダーとデコーダーのモジュールを交互に固定することで、互換性と共有表現学習を強制する。
• 訓練スケジュールは、全N×Nの翻訳方向を巡回し、1つのモジュール（エンコーダーまたはデコーダー）を固定しながら、他方を訓練する。
• 固定スケジュールは、f-n、n-f、またはn-nと表記され、fは固定されたモジュール、nは通常訓練されるモジュールを示す。
• 新規言語を追加する際は、新規言語のエンコーダーとデコーダーのみを訓練し、既存のモジュールはすべて固定したままにできる。
• UMAPを用いて文と単語の埋め込みを可視化し、基本的な訓練スキームと比較して、表現の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーのモジュールを交互に固定することで、多言語機械翻訳における共通の中間表現の質が向上するか？
• RQ2 この訓練戦略により、既存コンponentの再訓練なしに、効果的な段階的言語追加が可能になるか？
• RQ3 標準的な共同学習と比較して、本手法の翻訳品質（初期言語翻訳、新言語追加、ゼロショット翻訳）における性能はどの程度向上するか？
• RQ4 固定訓練スキームから得た文表現は、自然言語推論などの下流タスクにおいて、どの程度性能向上をもたらすか？
• RQ5 固定訓練設定下で、新規言語の表現は既存言語の表現と比較してどの程度類似しているか？

主な発見

• 交互に固定する訓練手法は、初期言語翻訳において競争力のある性能を達成し、ベースライン手法をこの設定で上回る。
• 新言語を追加する際、ベースラインと比較して翻訳性能はわずかに低下するが、モジュラー設計により再訓練なしに段階的拡張が可能である。
• 自然言語推論タスクにおいて顕著な改善が見られ、固定アーキテクチャから得た文表現を用いることで分類精度が向上する。
• 文表現の可視化結果から、固定訓練スケジュールは、特に後から追加された言語（ロシア語など）において、よりコンパクトで一貫性のあるクラスタリングをもたらす。
• 固定モデルからの単語埋め込みは、言語固有のクラスタを維持しており、単語レベルの表現は依然として明確に分離しているが、共通の中間空間が多言語間の整合性を向上させている。
• 翻訳の定性的な例では、固定モデルが「photo ID」のようなキーワードをベースラインよりも正確に保持しているのに対し、ベースラインはしばしば誤って表現している。