[論文レビュー] Hyper-X: A Unified Hypernetwork for Multi-Task Multilingual Transfer

Ahmet Üstün, Arianna Bisazza+3 more|arXiv (Cornell University)|May 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

Hyper-Xは、タスクと言語の埋め込みに基づいてアダプタ重みを生成する統合型ハイパーネットワークを提案し、未学習のタスク-言語組み合わせに対しても効率的なゼロショットおよびフェイントショット転移を可能にする。特に、異種の多言語およびマルチタスクデータを活用する場合に、アダプタベースのベースラインと比較して大幅に少ないパラメータで最先端または競争力のある性能を達成する。

ABSTRACT

Massively multilingual models are promising for transfer learning across tasks and languages. However, existing methods are unable to fully leverage training data when it is available in different task-language combinations. To exploit such heterogeneous supervision, we propose Hyper-X, a single hypernetwork that unifies multi-task and multilingual learning with efficient adaptation. This model generates weights for adapter modules conditioned on both tasks and language embeddings. By learning to combine task and language-specific knowledge, our model enables zero-shot transfer for unseen languages and task-language combinations. Our experiments on a diverse set of languages demonstrate that Hyper-X achieves the best or competitive gain when a mixture of multiple resources is available, while being on par with strong baselines in the standard scenario. Hyper-X is also considerably more efficient in terms of parameters and resources compared to methods that train separate adapters. Finally, Hyper-X consistently produces strong results in few-shot scenarios for new languages, showing the versatility of our approach beyond zero-shot transfer.

研究の動機と目的

• 転移学習中に複数のタスクおよび言語からの異種の監視信号を効果的に活用できない既存手法の制限を解消すること。
• 微調整なしで未学習の言語およびタスク-言語組み合わせへのゼロショット転移を可能にすること。
• 複数のタスクおよび言語固有のアダプタを1つの統合型ハイパーネットワークに置き換えることで、パrameter効率を向上させること。
• マスクされた言語モデリングを統合することで、低リソースおよび未学習の言語への一般化性能を向上させること。
• ゼロショット、フェイントショット、マルチタスク設定において、多様な言語およびタスクの文脈で性能を評価すること。

提案手法

• Hyper-Xは、タスクと言語の統合埋め込みに基づいてアダプタパラメータを生成する1つのハイパーネットワークを用いる。
• モデルはタスクおよび言語の識別子を入力とし、各言語ごとにタスク固有のアダプタ重みを生成する。
• 推論時に新しいタスク-言語ペアに動的に適応可能な共有ハイパーネットワークアーキテクチャを採用する。
• 未ラベルデータ上でマスク言語モデリングを共同で事前学習することで、ゼロショット一般化性能を向上させる。
• 事前学習中に学習した言語表現を活用することで、未学習の言語へのスムーズな適応が可能になる。
• パrameter効率が高く、各言語-タスクペアごとに別個のアダプタを訓練する必要がない。

実験結果

リサーチクエスチョン

• RQ1 統合型ハイパーネットワークは、未学習の組み合わせを含め、タスクおよび言語の両方の間で知識を効果的に転送できるか？
• RQ2 強力なベースラインと比較して、Hyper-Xはゼロショットクロスリンガル転移でどの程度の性能を示すか？
• RQ3 異種のデータが利用可能な状況で、Hyper-Xは混合言語・マルチタスク微調整からどの程度の利益を得られるか？
• RQ4 アダプタベースの手法と比較して、Hyper-Xのモデルパラメータ数および推論コストはどの程度効率的か？
• RQ5 新しい言語およびタスクにおけるフェイントショット状況でも、Hyper-Xは良好に一般化できるか？

主な発見

• Hyper-Xは、事前学習中に確認されなかった7つの言語を含む16言語のNLPタスクにおいて、NERおよびPOSタギングで最先端または競争力のある性能を達成した。
• 混合言語マルチタスク設定では、標準ベースラインよりも大きな向上を示し、より高コストなアダプタベースのモデルと同等の性能を達成した。
• フェイントショット状況でも、Hyper-Xはベースラインを一貫して上回り、新しい言語およびタスクへの強力な一般化性能を示した。
• すべての言語でゼロショット設定において、NERで62.3のF1スコア、POSタギングで67.2の正答率を達成し、mBERTやMAD-Xを上回った。
• 各言語-タスクペアごとに別個のアダプタを訓練するのと比較して、パラメータ数と学習コストを大幅に削減しながら、高い性能を維持した。