[論文レビュー] MetaICL: Learning to Learn In Context

Sewon Min, Michael Lewis+2 more|arXiv (Cornell University)|Oct 29, 2021

Topic Modeling被引用数 61

ひとこと要約

MetaICL は、さまざまなタスクのメタ学習を通じて文脈からタスクを学習する言語モデルを訓練し、パラメータ更新やタスク固有のテンプレートなしで未見のタスクに対してfew-shot学習を可能にします。 supervise d fine-tuning に匹敵または上回ることが多く、より大規模なモデルを上回ることもあります。

ABSTRACT

We introduce MetaICL (Meta-training for In-Context Learning), a new meta-training framework for few-shot learning where a pretrained language model is tuned to do in-context learning on a large set of training tasks. This meta-training enables the model to more effectively learn a new task in context at test time, by simply conditioning on a few training examples with no parameter updates or task-specific templates. We experiment on a large, diverse collection of tasks consisting of 142 NLP datasets including classification, question answering, natural language inference, paraphrase detection and more, across seven different meta-training/target splits. MetaICL outperforms a range of baselines including in-context learning without meta-training and multi-task learning followed by zero-shot transfer. We find that the gains are particularly significant for target tasks that have domain shifts from the meta-training tasks, and that using a diverse set of the meta-training tasks is key to improvements. We also show that MetaICL approaches (and sometimes beats) the performance of models fully finetuned on the target task, and outperforms much bigger models with nearly 8x parameters. Finally, we show that MetaICL is complementary to human-written instructions, and the best performance can be achieved by combining both approaches.

研究の動機と目的

• 手作りのテンプレートやタスク固有の再表現を用いずに、文脈内学習の自律性を向上させる動機づけ。
• 大量で多様なメタ訓練タスクの集合を活用して、少数の例からタスク意味を回復するようモデルを訓練する。
• メタ訓練タスクと重複しない strictly new unseen ターゲットタスクで、複数の設定にわたり性能を評価する。
• メタ訓練がドメインシフトおよびタスク形式の多様性に対する頑健性を向上させる時期と方法を示す。

提案手法

• MetaICL を、トレーニング中に文脈内学習を模擬するために、各タスク k+1 の例を用いて多くのタスクで事前訓練済み LM をメタ訓練することとして定義する。
• 事前の k 個の例と入力を与えたときに、(k+1) 番目の例のラベルを予測するクロスエントロピー目的で訓練する。
• パラメータ更新なしで、k labeled 例とテスト入力に条件づけて未見のターゲットタスクで評価する。
• CrossFit と UnifiedQA からの多様な 142 のデータセットを用いて、重複のない7つのメタ訓練/ターゲット分割を形成する。
• 推論時に P(y|x) を P(x|y)P(y) と再パラメータ化するノイジーチャンネル variant である Channel MetaICL を導入する。
• 標準的な in-context learning、PMI ベース手法、マルチタスクゼロショット転送、ファインチューニングなどの強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 MetaICL は、タスク固有のプロンプトやテンプレートなしで未見タスクで効果的な文脈内学習を有効にできるのか。
• RQ2 フォーマットやドメインが異なるターゲットタスクへ few-shot 汎化をどの程度、メタ訓練タスクの数と多様性が影響するか。
• RQ3 ゼロショットおよびマルチタスクのベースラインと比較して、MetaICL はドメインシフトや分布外のターゲットタスクに対して頑健か。
• RQ4 MetaICL はターゲットタスクで完全な監視下ファインチューニングの性能に迫るか、または超えるか、そしてモデルサイズはこのギャップにどう影響するか。
• RQ5 人間が書いた指示は、MetaICL と組み合わせた場合に補完的か。

主な発見

• MetaICL および Channel MetaICL は、メタ訓練を使用しないベースラインを一貫して上回り、ほとんどの設定でマルチタスクゼロショット転送を凌ぐ。
• Channel MetaICL は、7設定の大半で最高性能を達成し、高資源→低資源およびドメインシフトタスクで顕著な改善を示す。
• MetaICL はしばしばターゲットデータで完全にファインチューニングされたモデルの性能に迫るか、超え、パラメータが8倍多いはるかに大きなモデルと同等または勝ることがある。
• パフォーマンスの利得はメタ訓練タスクの多様性とともに増加する。多様なタスク集合は非多様なものより著しく良い結果をもたらす。
• MetaICL に人間が書いた指示を組み込むと補完的な利得が得られるが、テンプレートなしの MetaICL は基準比較でしばしば競争力があるか優れている。