[論文レビュー] PaD: Program-aided Distillation Can Teach Small Models Reasoning Better than Chain-of-thought Fine-tuning

Xuekai Zhu, Biqing Qi+4 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLMs）からプログラム支援付き推論データを生成・フィルタリングすることで、小規模モデルの推論能力を向上させる、Program-aided Distillation（PaD）を提案する。この手法は、自動エラー検査のためのインタプリタを用いる。PaDにより、0.06Bパラメータのモデルが、GSM8KでLLaMA-13B や PaLM-60B よりも優れた性能を発揮し、パラメータ数が10分の1、データ量が3分の1で10%の精度向上を達成した。

ABSTRACT

While large language models (LLMs) excel in various natural language processing tasks, their huge size and the inaccessibility of parameters present challenges for practical deployment. Previous studies try to distill task-specific ability from LLMs to smaller models, using data synthesis and chain-of-thought (CoT) fine-tuning. However, synthetic CoT data often contains faulty reasoning, which deteriorates the quality of distillation, especially in reasoning capabilities. In this work, we propose Program-aided Distillation (PaD), which introduces reasoning programs to suppress the errors in distilled data, and thus achieves better distillation quality for reasoning tasks. In PaD, we utilize the reasoning program to substitute the CoT, allowing automated error checking of synthetic data. Further, through error injecting and further training, the small distilling model could iteratively self-refine the reasoning. Moreover, we conduct a step-wise beam search by step-by-step verifying to acquire more exact reasoning chains. We evaluate PaD on arithmetic reasoning, symbolic reasoning, and general ability. Experimental results demonstrate that smaller models using PaD can not only outperform certain LLMs~(e.g., LLaMA-1 13B) but also achieve strong improvement over baselines with a significantly smaller scale of parameters and data. The source code is publicly available at https://github.com/Xuekai-Zhu/pad.

研究の動機と目的

• 大規模言語モデル（LLMs）の推論能力を、効率的に小規模で実装可能なモデルに移転する課題に対処すること。
• 連鎖的思考（CoT）データに含まれる捏造されたり誤りのある推論ステップが、小規模モデルの性能を低下させる問題を克服すること。
• プログラム支援付き推論と自動エラー検査を活用することで、小規模モデルのデータ効率性と訓練効果を向上させること。
• 小規模モデルに強力な推論スキルを備えさせつつ、一般能力への妥協を最小限に抑える、モデル特化を可能にすること。

提案手法

• 算術問題の段階的推論を表すPythonに類似したプログラムを生成するようLLMsにプロンプトすることで、推論データを合成する。
• 別個のPythonインタプリタを用いて、コンパイルおよび実行することで推論プログラムを自動的に検証し、誤りまたは構文的に誤ったサンプルをフィルタリングする。
• 計算をインタプリタに委ねることで、推論と計算を分離し、最終的な答えの正しさを保証する。
• 検証済みで実行可能なプログラム支援付き推論データで小規模モデルを微調整し、検証可能で構造化された推論パターンを学習させる。
• データの重要度を評価・順位付けするためのデータプリーニング技術（忠実度、GraNd、エントロピー）を適用し、高いデータ効率性を示した。
• gpt-3.5-turboを用いて高品質な合成データを生成し、忠実度、論理的整合性、情報量といった指標で検証した。

実験結果

リサーチクエスチョン

• RQ1 プログラム支援付き推論データ生成と自動エラー検査は、標準的な連鎖的思考微調整と比較して、小規模モデルの推論性能を向上させることができるか？
• RQ2 PaDは、パラメータ数とデータ量を著しく減らしても、GSM8Kのような推論ベンチマークでより大きなLLMsを上回る小規模モデルを可能にするか？
• RQ3 ベースラインの蒸留および微調整手法と比較して、PaDはデータ効率性とモデル特化のトレードオフにおいてどのように異なるか？
• RQ4 合成されたプログラム支援付きデータは、人間が書いたデータやCoT生成データと比較して、意味的整合性、論理的整合性、情報量をどれほど維持しているか？

主な発見

• PaDで微調整された0.06Bパラメータのモデルが、GSM8KベンチマークでLLaMA-13B や PaLM-60B を上回り、小規模モデルとして最先端の性能を達成した。
• PaDは、前例に比べ10%の推論精度向上を達成したが、モデルサイズは10分の1、学習データ量は3分の1で実現した。
• 本手法は高いデータ効率性を維持している：忠実度で順位付けされた上位90%の学習サンプルを使用するだけで、全データセットと同等の性能が達成された。
• gpt-3.5-turboから生成された合成データは、GSM8Kのテストおよびトレインセットで75%の精度を達成し、構文エラーは10%未満で、推論ステップの忠実度が高かった。
• インタプリタベースの検証により、誤りのあるまたはコンパイル不能なプログラムをフィルタリングすることで、誤った推論のリスクが低減された。
• 推論性能の向上にもかかわらず、特化させた小規模モデルは一般能力（例：BBHで測定）に顕著な低下を示したことが確認され、モデル特化に伴うトレードオフが裏付けられた。