[論文レビュー] Teaching Small Language Models to Reason

Lucie Charlotte Magister, Jonathan Mallinson+3 more|arXiv (Cornell University)|Dec 16, 2022

Topic Modeling被引用数 7

ひとこと要約

この論文は、大規模言語モデル（LLM）から小規模モデルへの知識蒸留を、思考の流れ（CoT）出力の微調整を通じて提案し、算術的、常識的、記号的推論タスクにおける推論性能を顕著に向上させた。PaLM 540BおよびGPT-3 175BのCoT出力に基づき、T5 XXLを微調整することで、GSM8Kにおける正答率をそれぞれ8.11%から21.99%および18.42%に向上させ、小規模モデルに対しても推論能力を転送可能であることを示した。

ABSTRACT

Chain of thought prompting successfully improves the reasoning capabilities of large language models, achieving state of the art results on a range of datasets. However, these reasoning capabilities only appear to emerge in models with a size of over 100 billion parameters. In this paper, we explore the transfer of such reasoning capabilities to models with less than 100 billion parameters via knowledge distillation. Specifically, we finetune a student model on the chain of thought outputs generated by a larger teacher model. Our experiments show that the proposed method improves task performance across arithmetic, commonsense and symbolic reasoning datasets. For example, the accuracy of T5 XXL on GSM8K improves from 8.11% to 21.99% when finetuned on PaLM-540B generated chains of thought.

研究の動機と目的

• 大規模言語モデル（LLM）の推論能力が、知識蒸留によって小規模モデルに転送可能かどうかを調査すること。
• CoT蒸留後の推論性能に、学生モデルのサイズとデータセットサイズが与える影響を評価すること。
• 少数の例提示プロンプトに正解を提示することで、CoT品質が向上するかどうかを特定すること。
• 大規模LLMが生成した高品質なCoT出力に基づき、小規模モデルを微調整することで、複数の推論ベンチマークにおけるタスク正答率が向上することを示すこと。

提案手法

• 大規模教師モデル（PaLM 540BおよびGPT-3 175B）を用い、8例の例提示を伴う少数の例提示により、既存のデータセットに対して思考の流れ（CoT）の推論手順を生成する。
• 質問の後に正解を含めるように少数の例提示プロンプトを変更し、推論中の誤り訂正を可能にすることで、CoT品質を向上させる。
• 推論出力と正解との比較により、誤ったCoT例をフィルタリングし、蒸留に使用する際には高品質なデータのみを保証する。
• 教師強制法を用いて、小規模な学生モデル（T5 XXL、XL、base）を微調整する。入力は質問、出力はCoTに続く正解とする。
• 推論時にも同じプロンプトフォーマットを用いるため、学生モデルは推論時にプロンプトを必要とせず、CoTを生成する。
• 標準的な正答率メトリクスを用いて、算術的、常識的、記号的推論データセットでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの推論能力は、知識蒸留によって効果的に小規模モデルに転送可能か？
• RQ2 CoT蒸留後の性能に、学生モデルのサイズはどのように影響するか？
• RQ3 データセットサイズはCoT蒸留の効果にどのような影響を与えるか？
• RQ4 少数の例提示プロンプトに正解を含めることで、生成されたCoTの品質と下流タスクの性能が向上するか？
• RQ5 教師モデルの選択（PaLM 540B 対 GPT-3 175B）は、蒸留性能にどのように影響するか？

主な発見

• PaLM 540Bが生成したCoTデータに基づき、T5 XXLを微調整することで、GSM8Kにおける正答率が8.11%から21.99%に上昇した。
• GPT-3 175Bが生成したCoTデータに基づくT5 XXLの微調整により、GSM8K正答率は18.42%に向上した。
• T5 base（T5 XXLの44分の1のパラメータ数）は、CoTデータを微調整した後、ベースラインのT5 XXLと同等の性能を達成した。
• 外部の電卓を提供されたT5 smallですら、ベースラインのT5 XXLを上回る性能を示しており、強力な推論能力の転送が確認された。
• 本手法は6倍のデータ効率性を示した：GSM8Kデータの20%での学習でも11.22%の正答率を達成し、ベースラインの8.11%を上回った。
• 性能向上は算術的推論タスクで顕著であり、戦略的知識の制限により、StrategyQAでは限定的な向上が見られた。