[論文レビュー] VECO: Variable Encoder-decoder Pre-training for Cross-lingual Understanding and Generation

Fuli Luo, Wei Wang+6 more|arXiv (Cornell University)|May 4, 2021

Natural Language Processing Techniques参考文献 7被引用数 31

ひとこと要約

VECOは、内部およびクロスシーケンスマスクド言語モデルを介して理解と生成のタスク間でサブモジュールを共有することにより、統一された可変エンコーダ・デコーダの事前学習フレームワークを提案する。XTREMEベンチマークタスクにおいて最先端の性能を達成し、WMT14における翻訳BLEUスコアを最大1–2ポイント向上させる。

ABSTRACT

Recent studies about learning multilingual representations have achieved significant performance gains across a wide range of downstream cross-lingual tasks. They train either an encoder-only Transformer mainly for understanding tasks, or an encoder-decoder Transformer specifically for generation tasks, ignoring the correlation between the two tasks and frameworks. In contrast, this paper presents a variable encoder-decoder (VECO) pre-training approach to unify the two mainstreams in both model architectures and pre-training tasks. VECO splits the standard Transformer block into several sub-modules trained with both inner-sequence and cross-sequence masked language modeling, and correspondingly reorganizes certain sub-modules for understanding and generation tasks during inference. Such a workflow not only ensures to train the most streamlined parameters necessary for two kinds of tasks, but also enables them to boost each other via sharing common sub-modules. As a result, VECO delivers new state-of-the-art results on various cross-lingual understanding tasks of the XTREME benchmark covering text classification, sequence labeling, question answering, and sentence retrieval. For generation tasks, VECO also outperforms all existing cross-lingual models and state-of-the-art Transformer variants on WMT14 English-to-German and English-to-French translation datasets, with gains of up to 1~2 BLEU.

研究の動機と目的

• 多言語タスクのためのエンコーダオンリーおよびエンコーダ・デコーダの事前学習フレームワークを統合すること。
• 現在の多言語表現学習において、理解モデルと生成モデルの間の相関の欠如を解決すること。
• パラメータ共有と共同事前学習を通じて、多言語理解および生成タスクの両方のパフォーマンスを向上させること。
• 特定のタスクに適応するための共有サブモジュールを再編成できる柔軟な推論メカニズムを設計すること。

提案手法

• VECOは、標準的なTransformerブロックをサブモジュールに分割し、内部シーケンスおよびクロスシーケンスマスクド言語モデル学習を併用して訓練する。
• 推論時には、理解タスクまたは生成タスクに適応して、共有サブモジュールを再編成して再利用する。
• 統一されたアーキテクチャ内で、シーケンス・ツー・シーケンスおよびシーケンス・ツー・シングルシーケンスの両方の目的関数に基づいて事前学習を行う。
• 各タスクに必要な最小限のコンponentsのみを訓練することで、パラメータの効率性を実現する。
• 内部および外部言語シーケンスにおけるマスクド言語モデルを用いることで、多言語間の転送性能を向上させる。
• 推論時にタスクの種別に応じてサブモジュールを動的に選択・活性化する。

実験結果

リサーチクエスチョン

• RQ1 統一されたモデルアーキテクチャは、多言語理解および生成タスクの両方のパフォーマンスを向上させることができるか？
• RQ2 エンコーダとデコーダのコンponents間でサブモジュールを共有することは、モデルの効率性とパフォーマンスにどのような影響を与えるか？
• RQ3 内部およびクロスシーケンスマスクを併用した共同事前学習は、多言語間転送をどの程度向上させるか？
• RQ4 可変アーキテクチャは、標準ベンチマークにおいて、専用のエンコーダオンリーまたはエンコーダ・デコーダモデルを上回る性能を発揮するか？
• RQ5 共有サブモジュールは、理解と生成の両方のパフォーマンスを向上させることができるが、どちらかの性能を犠牲にしないか？

主な発見

• VECOは、テキスト分類、シーケンスラベル付け、質疑応答、文の検索を含む、XTREMEベンチマークのすべてのタスクで、新たな最先端の結果を達成した。
• 既存の多言語モデルと比較して、WMT14の英語→ドイツ語および英語→フランス語翻訳タスクで、最大1–2 BLEUポイントの性能向上を達成した。
• 統一されたアーキテクチャにより、パラメータの重複を低減しながら、多様な多言語タスクで高いパフォーマンスを維持した。
• 共有サブモジュールにより、理解と生成の能力が相互に補い合えるようになった。
• 低リソースおよび高リソース言語ペアの両方で、優れた一般化性能を示した。
• アブレーションスタディの結果、内部シーケンスおよびクロスシーケンスマスクが性能向上に顕著な寄与をしていることが確認された。