[論文レビュー] Specializing Smaller Language Models towards Multi-Step Reasoning

Yao Fu, Hao Peng+3 more|arXiv (Cornell University)|Jan 30, 2023

Topic Modeling被引用数 43

ひとこと要約

この論文は、小規模モデル（≤11B パラメータ）が大規模な教師モデルからの CoT データを蒸留することにより、マルチステップの数学的推論に特化して優れた性能を発揮できることを示しており、汎用能力をターゲットタスクの性能とトレードオフにし、専門化後に対数線形のスケーリング曲線を明らかにする。

ABSTRACT

The surprising ability of Large Language Models (LLMs) to perform well on complex reasoning with only few-shot chain-of-thought prompts is believed to emerge only in very large-scale models (100+ billion parameters). We show that such abilities can, in fact, be distilled down from GPT-3.5 ($\ge$ 175B) to T5 variants ($\le$ 11B). We propose model specialization, to specialize the model's ability towards a target task. The hypothesis is that large models (commonly viewed as larger than 100B) have strong modeling power, but are spread on a large spectrum of tasks. Small models (commonly viewed as smaller than 10B) have limited model capacity, but if we concentrate their capacity on a specific target task, the model can achieve a decent improved performance. We use multi-step math reasoning as our testbed because it is a very typical emergent ability. We show two important aspects of model abilities: (1). there exists a very complex balance/ tradeoff between language models' multi-dimensional abilities; (2). by paying the price of decreased generic ability, we can clearly lift up the scaling curve of models smaller than 10B towards a specialized multi-step math reasoning ability. We further give comprehensive discussions about important design choices for better generalization, including the tuning data format, the start model checkpoint, and a new model selection method. We hope our practice and discoveries can serve as an important attempt towards specialized smaller models in the new research paradigm set by LLMs.

研究の動機と目的

• 小さな言語モデルが専門化を通じて強力なマルチステップ数学推論を達成できることを実証する。
• 蒸留とデータ形式が小規模モデルのCoT能力に与える影響を調査する。
• 汎用（BBH）能力とターゲット固有（数学）能力のトレードオフを特徴付ける。
• 専門化後のスケーリング挙動と一般化（分布内 vs 分布外）を検討する。
• 効果的な専門化小型モデル訓練の設計提案を提供する。

提案手法

• 大規模教師モデル（code-davinci-002）由来の蒸留データで FlanT5 および T5 のベースラインをファインチューニングし、CoT 対応出力を生成する。
• データ形式を検討する：インコンテキスト回答のみ、インコンテキスト CoT、ゼロショット形式を用いて能力への影響を調べる。
• 蒸留目的として分布整合を適用し、ステップごとの学生と教師の分布を整合させ、トークナイザーの整合は動的計画法で対処する。
• GPT と T5 のトークン化を整合ベースの動的計画法で揃える。
• GSM8K（分布内）と 4 つの分布外数学データセット（MultiArith、ASDiv、SVAMP）および汎用能力のための BigBench Hard を用いて評価する。
• 調整段階を通じて専門化の進展と汎用能力の保持のトレードオフを分析する。

Figure 1: A. Model specialization process. Pretraining gives a strong base model (Raffel et al., 2020 ; Chowdhery et al., 2022 ) , instruction tuning elicits the model ability (Chung et al., 2022 ) , then specialization (this work’s focus) moves model abilities to a target direction. In this work, w

実験結果

リサーチクエスチョン

• RQ1 小型モデル（≤11B）を CoT タスクへ専門化することで、マルチステップ数学推論を強化できるか？
• RQ2 蒸留データ形式と指示調整済みベースモデルが専門化性能に与える影響はどのようか？
• RQ3 専門化は分布内 vs 分布外の性能およびゼロショット vs インコンテキスト能力にどう影響するか？
• RQ4 汎用能力（BigBench Hard）を維持することと、ターゲットタスクの CoT 数理推論を改善することのトレードオフは？
• RQ5 検証信号の異なるモデル選択が分布内およびOOD タスクの最終性能にどのように影響するか？

主な発見

• 専門化は小型モデルの数学推論を約 +10 の精度向上（GSM8K の平均）に寄与し、3B および 11B の FlanT5 モデルが強い結果を達成する。
• 専門化された小型モデルは、ターゲットとなる数学タスク（GSM8K および OOD データセット）で、はるかに大きなモデルと同等の性能に達するかそれに近づくことができる一方で、BigBench Hard における汎用能力の低下を招く。
• 専門化された小型モデルのスケーリング曲線は平坦ではなく対数線形となり、専門化後はマルチステップ推論がモデルサイズとともに滑らかにスケールすることを示唆する。
• 指示調整済みベース（FlanT5）は、専門化後に生の事前学習済みベース（T5）よりも一般に優れており、指示調整済みチェックポイントから出発する利点を強調する。
• 分布内と分布外の性能、インコンテキストとゼロショット能力の間には明確なトレードオフがあり、最終的な性能は望ましい一般化目標に依存してモデルを選択する必要がある。
• 2つの蒸留戦略は収束速度が異なり（分布整合はサンプリング整合より速い）が、最終性能には著しい差はない。

Figure 2: X-axis means log of model scale, y-axis means validation accuracy on GSM8K. A : Previously, the community believe that small models has flat curve for both AO and CoT prompting and only when models become large enough the performance will have a “phase change” and suddenly increase. B : we