[論文レビュー] Natural Instructions: Benchmarking Generalization to New Tasks from Natural Language Instructions

Swaroop Mishra, Daniel Khashabi+2 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling参考文献 33被引用数 32

ひとこと要約

本稿では、少サンプルプロンプティングやファインチューニングを通じて新しいタスクへの一般化性能を評価するための、61種類の自然言語指示と60万件のタスクインスタンスを有するベンチマーク「NATURAL INSTRUCTIONS」を紹介する。結果から、GPT-3 や BART といったモデルは指示により性能が向上するが、特に多様な指示分野にわたる一般化は限定的であり、指示に従う一般化性能の向上の余地は依然として大きいことが示された。

ABSTRACT

Can we enable NLP models to appropriately respond to instructional prompts and consequently generalize to new tasks? To study this question, we leverage the existing NLP datasets and the instructions that were used to crowdsource them to create NATURAL INSTRUCTIONS, a dataset of instructions and task-specific input/output data. This dataset consists of 61 distinct language instructions and about 600k task instances, and is used to evaluate existing state-of-the-art language-models (LMs) in addressing new tasks by few-shot prompting of GPT3 and fine-tuning BART. Our analysis indicates that: (a) the existing models indeed benefit from instructions and hence, show improved generalization to new tasks; (b) while models like GPT-3 generally benefit from instructions, the extent of their gains varies across different fields of instructions and also depends on the task being solved; (c) generalization to unseen tasks in NATURAL INSTRUCTIONS remains far from perfect for the state-of-the-art, indicating significant room for more progress in this direction.

研究の動機と目的

• 自然言語の指示を提示された場合に、言語モデルが新しいタスクへ一般化できるかどうかを調査すること。
• 異なるドメインにまたがる、大規模かつ多様な指示-タスクペアのベンチマークを構築し、指示一般化の評価を目的とすること。
• GPT-3 や BART といった最先端モデルが、少サンプルプロンプティングおよびファインチューニングを用いて未学習のタスクに対してどのように性能を示すかを評価すること。
• 指示の種別やタスクドメインが、モデルの一般化性能にどのように影響するかを分析すること。
• 指示チューニングを行ったにもかかわらず、新しいタスクへの一般化能力の欠如が顕在化するギャップを特定すること。

提案手法

• 既存の NLP データセットとその元々のクラウドソーシングによる指示を活用し、61種類の異なる言語指示と約60万件の入力出力タスクインスタンスを有するデータセット「NATURAL INSTRUCTIONS」を構築した。
• GPT-3 を用いた少サンプルプロンプティングと、BART を用いたファインチューニングを実施し、未学習のタスクへのゼロショット一般化性能を評価した。
• 指示を分野（例：テキスト分類、シーケンスラベル付けなど）に分類し、ドメインごとの性能差を分析した。
• 訓練中に見られなかった未学習のタスクインスタンスに対して、標準的な NLP メトリクスを用いてモデルの性能を評価した。
• 異なる指示タイプおよびタスクタイプ間での一般化性能を比較し、モデル行動のパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、新しいタスクへの一般化において、自然言語の指示を提示されることでどの程度利益を得られるか？
• RQ2 指示の種別やタスクドメインは、NLP モデルの一般化性能にどのように影響するか？
• RQ3 NATURAL INSTRUCTIONS における未学習タスクへの一般化において、GPT-3 を用いた少サンプルプロンプティングと、BART を用いたファインチューニングは、どのように比較されるか？
• RQ4 指示チューニングを行ったにもかかわらず、現在のモデルが新しいタスクへの一般化において抱える限界は何か？
• RQ5 特定の指示分野において、一般化性能が一貫して弱いか、強いかが顕在化する分野は存在するか？

主な発見

• GPT-3 などの言語モデルは、自然言語の指示が提示されることで、一般化性能に顕著な向上を示し、指示チューニングの価値を裏付けた。
• 指示による性能向上の度合いは、異なる指示分野やタスクタイプによって顕著に異なり、ドメイン依存的な有効性が示された。
• 改善が見られるものの、NATURAL INSTRUCTIONS における未学習タスクへの一般化は依然として最適に近くなく、現在のモデルの能力に大きなギャップが存在することが浮き彫りになった。
• BART を指示-タスクペアでファインチューニングすることで、少サンプルプロンプティングに比べて性能が向上したが、多様な指示タイプにわたる一般化は依然として限定的であった。
• モデルは指示分野ごとに一貫性のない性能を示しており、指示の多様性とタスクの複雑さが一般化の鍵となる課題であることが示唆された。
• 結果から、指示に従うことで一般化性能は向上するが、すべてのタスクに対して堅牢なゼロショットまたは少サンプル一般化を達成することは、依然として未解決の課題であることが示された。