[論文レビュー] Can language models learn from explanations in context?

Andrew K. Lampinen, Ishita Dasgupta+7 more|arXiv (Cornell University)|Apr 5, 2022

Topic Modeling被引用数 15

ひとこと要約

この論文は、入力-出力例に加えて答えの説明を組み込むことで、言語モデル（LMs）が少しだけの例による文脈学習を改善できるかどうかを調査している。人間がアノテートした説明と制御条件を備えた40の多様で困難なタスクを用いて、著者らは、特に手動で調整された説明が、微調整なしでも大規模LMの性能を顕著に向上させることを示している。これは、説明がモデルがタスクの原則をより効果的に推論するのを助けることを示唆している。

ABSTRACT

Language Models (LMs) can perform new tasks by adapting to a few in-context examples. For humans, explanations that connect examples to task principles can improve learning. We therefore investigate whether explanations of few-shot examples can help LMs. We annotate questions from 40 challenging tasks with answer explanations, and various matched control explanations. We evaluate how different types of explanations, instructions, and controls affect zero- and few-shot performance. We analyze these results using statistical multilevel modeling techniques that account for the nested dependencies among conditions, tasks, prompts, and models. We find that explanations can improve performance -- even without tuning. Furthermore, explanations hand-tuned for performance on a small validation set offer substantially larger benefits, and building a prompt by selecting examples and explanations together substantially improves performance over selecting examples alone. Finally, even untuned explanations outperform carefully matched controls, suggesting that the benefits are due to the link between an example and its explanation, rather than lower-level features. However, only large models benefit. In summary, explanations can support the in-context learning of large LMs on challenging tasks.

研究の動機と目的

• 少しだけの例のプロンプトに答えの説明を含めることで、大規模言語モデルの困難なタスクにおける性能が向上するかどうかを調査すること。
• 説明の恩恵が、例と説明の間の意味的つながりに起因するのか、それとも低レベルの言語的特徴に起因するのかを特定すること。
• 異なる説明タイプ、指示、制御条件がゼロショットおよび少しだけの例学習に与える影響を評価すること。
• 説明による性能向上が、モデルサイズに応じてスケーラブルであるかどうかを評価すること。特に大規模モデルにおいて有効かどうかを検証すること。
• 40の多様で困難なタスクを含む、人間がアノテートした説明と制御条件を備えた新しいベンチマークの開発および公開すること。

提案手法

• 40の多様で困難なNLPタスクを人間がアノテートした説明と、説明の内容の影響を隔離するために一致した制御説明を備えてアノテートした。
• バリエーションを加えた少しだけの例のプロンプトを設計：例のみ、例＋説明、例＋指示、例＋制御条件。
• 1B～280Bパラメータの複数の大規模言語モデルを、すべてのプロンプトバリエーションに対してゼロショットおよび少しだけの例設定で評価した。
• タスク、プロンプト、条件、モデルの間のネストされた依存関係を考慮するため、階層的統計的マルチレベルモデリングを用いた。
• 小さな検証セットを用いて、パフォーマンス向上が最大になるようにプロンプトを調整するための、高性能な説明を選定した。
• 因果効果を隔離するために、ひっくり返した説明、説明でないテキスト、指示でないコンテンツなどの制御条件と説明を比較した。

実験結果

リサーチクエスチョン

• RQ1 少しだけの例のプロンプトに答えの説明を含めることで、大規模言語モデルの少しだけの例によるゼロショット性能が向上するか？
• RQ2 性能向上の原因は、例と説明の間の意味的つながりに起因するのか、それとも低レベルの言語的特徴に起因するのか？
• RQ3 手動で調整された説明は、調整されていないものやランダムに選択されたものよりも、より大きなパフォーマンス向上をもたらすか？
• RQ4 説明の恩恵はモデルサイズに応じてスケーリングするのか、それとも大規模モデルに限定されるのか？
• RQ5 例と説明を一緒に選択することで、例を単独で選択するよりもパフォーマンスが向上するか？

主な発見

• 説明は、微調整なしでも大規模言語モデル（例：280Bパラメータモデル）の少しだけの例学習性能を顕著に向上させる。
• 調整されていない説明が、注意深く一致させた制御条件を上回る。これは、恩恵が表面的な特徴ではなく、例と説明の間の意味的つながりに起因することを示している。
• 小さな検証セットを用いて選定した手動で調整された説明は、調整されていない説明よりも顕著に大きなパフォーマンス向上をもたらす。
• 例と説明を一緒に選択することで、例を単独で選択するよりも顕著に高いパフォーマンスが得られる。
• 説明の恩恵は、7Bパラメータ以上の大規模言語モデルに限定して見られる。小規模モデルでは有意な向上は観察されない。
• 性能向上は、論理的推論、常識的推論、言語理解を含む多様で困難なタスクにわたり、安定的である。