[論文レビュー] Zero-shot Learning by Generating Task-specific Adapters.

Qinyuan Ye, Xiang Ren|arXiv (Cornell University)|Jan 2, 2021

Topic Modeling参考文献 17被引用数 10

ひとこと要約

この論文では、タスクの記述からタスク固有のアダプタを生成するハイパーネットワークを用いて、テキスト対テキスト変換器におけるゼロショット学習を向上させるフレームワーク、Hypterを提案する。インスタンスレベルではなくタスクレベルで学習することにより、パrameter数を削減しながらゼロショットの転送性を向上させ、2つのデータセットにおいてファインチューニングベースラインを上回る性能を発揮する。

ABSTRACT

Pre-trained text-to-text transformers achieve impressive performance across a wide range of NLP tasks, and they naturally support zero-shot learning (ZSL) by using the task description as prompt in the input. However, this approach has potential limitations, as it learns from input-output pairs at instance level, instead of learning to solve tasks at task level. Alternatively, applying existing ZSL methods to text-to-text transformers is non-trivial due to their text generation objective and huge size. To address these issues, we introduce Hypter, a framework that improves zero-shot transferability by training a hypernetwork to generate task-specific adapters from task descriptions. This formulation enables learning at task level, and greatly reduces the number of parameters by using light-weight adapters. Experiments on two datasets demonstrate Hypter improves upon fine-tuning baselines.

研究の動機と目的

• 既存のゼロショット学習手法が、インスタンスレベルではなくタスクレベルで学習するのではなく、入力出力ペアから学習するという限界を解消すること。
• テキスト生成目的と高いパrameter数を持つ大規模事前学習モデルにおいて、ファインチューニングなしで効果的なゼロショット転送性を実現すること。
• タスク記述から生成される軽量アダプタを導入することで、ゼロショット適応におけるトレーニング可能パラメータ数を削減すること。
• ハイパーネットを用いて適応をタスクレベルの学習問題として定式化することで、ゼロショット一般化を向上させること。

提案手法

• 自然言語によるタスク記述に基づいて、タスク固有のアダプタを生成するハイパーネットを訓練する。
• アダプタは、事前学習された変換器に挿入される、軽量でパラメータ効率の良いモジュールである。
• フレームワークは、個々の入出力例から学習するのではなく、タスク記述に条件づけてアダプタ生成を行うことで、タスクレベルの適応を可能にする。
• ハイパーネットはエンドツーエンドで訓練され、多様なタスクにおけるゼロショット性能を最適化するアダプタを生成する。
• ベースモデルのテキスト生成目的を活用しつつ、ファインチューニングや広範なパラメータ更新の必要を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 自然言語によるタスク記述からハイパーネットが効果的にタスク固有のアダプタを生成することで、ゼロショット転送性が向上するか？
• RQ2 インスタンスレベルではなくタスクレベルで学習することで、テキスト対テキスト変換器におけるゼロショット一般化が向上するか？
• RQ3 パラメータ効率の良いアダプタ生成により、トレーニング可能パラメータ数を削減しながら性能を維持または向上できるか？
• RQ4 提案手法は、多様なNLPタスクにおけるゼロショット設定で、ファインチューニングベースラインと比較してどのように評価されるか？

主な発見

• Hypterはタスクレベルで学習することでゼロショット転送性を向上させ、インスタンスレベル学習よりも優れた一般化を実現する。
• ファインチューニングをタスク固有に必要としないにもかかわらず、2つのベンチマークデータセットにおいてファインチューニングベースラインを上回る優れた性能を達成する。
• 軽量アダプタの使用により、トレーニング可能パラメータ数が顕著に削減され、効率性が向上する。
• ハイパーネットベースのアダプタ生成により、ベースモデルの重みを変更せずに効果的な適応が可能になる。