[論文レビュー] Large Language Models Are Reasoning Teachers

Namgyu Ho, Laura Schmid+1 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、大規模言語モデル（例：GPT-3 175B）を推論の教師として用い、複数ステップにわたる推論過程を生成し、それをもとに小規模な学生モデルを微調整するFine-tune-CoTという手法を提案する。この手法により、小規模なモデルが強力な推論性能を達成できる。主な貢献は、0.3Bパラメータという極めて小さなモデルですら、より大きな学生モデルや175Bパラメータの教師モデルを上回る性能を示し、特に教師が生成する多様な推論経路を活用することで、複雑な推論タスクで顕著な性能向上を達成できることである。

ABSTRACT

Recent works have shown that chain-of-thought (CoT) prompting can elicit language models to solve complex reasoning tasks, step-by-step. However, prompt-based CoT methods are dependent on very large models such as GPT-3 175B which are prohibitive to deploy at scale. In this paper, we use these large models as reasoning teachers to enable complex reasoning in smaller models and reduce model size requirements by several orders of magnitude. We propose Fine-tune-CoT, a method that generates reasoning samples from very large teacher models to fine-tune smaller models. We evaluate our method on a wide range of public models and complex tasks. We find that Fine-tune-CoT enables substantial reasoning capability in small models, far outperforming prompt-based baselines and even the teacher model in many tasks. Additionally, we extend our method by leveraging the teacher model's ability to generate multiple distinct rationales for each original sample. Enriching the fine-tuning data with such diverse reasoning results in a substantial performance boost across datasets, even for very small models. We conduct ablations and sample studies to understand the emergence of reasoning capabilities of student models. Our code implementation and data are available at https://github.com/itsnamgyu/reasoning-teacher.

研究の動機と目的

• 大規模な推論や高価な人手による推論ラベルに依存せずに、小規模言語モデルにおける複雑な推論を可能にすること。
• 推論能力を蒸留することで、非常に大きなモデル（例：175Bパラメータ）に依存する必要を減らすこと。
• 教師モデルからの多様な推論生成により、学生モデルの性能を向上させ、手動のラベル付けを回避すること。
• 教師生成の推論ラベルで微調整した後、小規模モデルに推論能力がどのように出現するかを調査すること。
• 大規模モデルを必要とせず、スケーラブルでデプロイに適した、プロンプトベースのチェーン・オブ・トゥーク手法の代替案を提供すること。

提案手法

• ゼロショットのチェーン・オブ・トゥークプロンプティングを用いて、非常に大きな言語モデル（例：GPT-3 175B）を教師として、複数ステップにわたる推論ラベルを生成する。
• 最終的な答えの正しさに基づいて生成されたラベルをフィルタリングし、高品質な学習データを確保する。
• 選別された質問－推論ラベル－答えの三つ組を用いて、小規模な学生モデルを微調整し、推論能力を転送する。
• 入力ごとに複数の異なる推論経路を生成することで、多様な推論を拡張する。これには温度サンプリング（T=0.7）を用いる。
• オープンソースおよびプロプライエタリモデルの幅広い範囲にわたり、通常の微調整と多様な推論微調整を12の多様な推論タスクで適用する。
• オープンソースモデルには一貫した学習設定（固定の学習率=3e-4、バッチサイズ=8、最大20エポック）を、プロプライエタリモデルにはデフォルトのOpenAI API設定を適用する。

実験結果

リサーチクエスチョン

• RQ1 非常に大きな言語モデルが、はるかに小さな学生モデルにおける複雑な推論を可能にするために効果的に推論の教師として機能できるか？
• RQ2 教師モデルから複数の多様な推論経路を生成することで、学生モデルの性能にどのような影響を与えるか？
• RQ3 教師生成のラベルで微調整した後、0.3Bパラメータ程度の小さな学生モデルが、より大きなモデルや教師モデルを上回るまでの程度はどの程度か？
• RQ4 データセットのサイズ、教師の品質、学生モデルのサイズといった要因が、Fine-tune-CoT手法のスケーラビリティと一般化性能に与える影響は何か？
• RQ5 教師から蒸留された推論データで微調整した小規模モデルに、推論能力がどのようにして出現するのか、そのメカニズムは何か？

主な発見

• 教師生成のラベルで微調整した小規模な学生モデルは、プロンプトベースのベースラインを著しく上回り、いくつかのタスクでは175Bパラメータの教師モデルをも凌駆する性能を示した。
• 0.3Bパラメータという極めて小さなモデルですら、教師から得た多様な推論データで微調整された場合、3B～12Bパラメータのより大きな学生モデルを上回る性能を示した。
• 温度サンプリングによる多様な推論経路の生成は、訓練時の追加計算コストが最小限でも、すべてのデータセットで顕著な性能向上をもたらした。
• モデルサイズ、データセットサイズ、教師の品質、多様な推論の使用といった要因において、性能が一貫してスケーラブルであり、ロバストで一般化可能であることが示された。
• アブレーションスタディにより、推論ラベルを用いた微調整が推論性能に不可欠であることが確認された。推論ラベルなしの通常の微調整では、小規模モデルに推論能力が引き出されなかった。
• サンプルレベルの分析から、学生モデルが教師の多様な推論ラベルから一般化可能な推論パターンを学習していることが明らかになった。これは、データ拡張によって推論能力が出現したことを示唆している。