[論文レビュー] Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning

Debjit Paul, Robert West+2 more|arXiv (Cornell University)|Feb 21, 2024

Complex Systems and Decision MakingDecision Sciences被引用数 3

ひとこと要約

この論文では、Frodoと呼ばれるフレームワークを紹介しており、小規模言語モデルにおけるチェーン・オブ・スティーク（CoT）推論の忠実性を向上させる。Frodoは、推論ステップの正しさを学習し、暗黙のフィードバックと因果的好みの目的関数を用いてそれらを頑健に推論する。Frodoは強力なベースラインよりも2–3%の絶対的精度向上を達成し、分布外の推論タスクにおいて優れた頑健性と一般化性能を示している。

ABSTRACT

Large language models (LLMs) have been shown to perform better when asked to reason step-by-step before answering a question. However, it is unclear to what degree the model's final answer is faithful to the stated reasoning steps. In this paper, we perform a causal mediation analysis on twelve LLMs to examine how intermediate reasoning steps generated by the LLM influence the final outcome and find that LLMs do not reliably use their intermediate reasoning steps when generating an answer. To address this issue, we introduce FRODO, a framework to tailor small-sized LMs to generate correct reasoning steps and robustly reason over these steps. FRODO consists of an inference module that learns to generate correct reasoning steps using an implicit causal reward function and a reasoning module that learns to faithfully reason over these intermediate inferences using a counterfactual and causal preference objective. Our experiments show that FRODO significantly outperforms four competitive baselines. Furthermore, FRODO improves the robustness and generalization ability of the reasoning LM, yielding higher performance on out-of-distribution test sets. Finally, we find that FRODO's rationales are more faithful to its final answer predictions than standard supervised fine-tuning.

研究の動機と目的

• 大規模言語モデル（LLM）が最終的な答えを生成する際に、自身が生成した中間的推論ステップを信頼的に使用しているかどうかを調査すること。
• チェーン・オブ・スティーク（CoT）推論における忠実性の欠如を診断すること。ここでの忠実性の欠如とは、推論ステップが最終出力に因果的に影響を与えない状況を指す。
• 推論ステップが正しいだけでなく、答えの生成において忠実に使用されることを保証する手法を開発すること。
• 標準的な教師あり微調整を超えて、蒸留された推論モデルの頑健性と一般化性能を向上させること。

提案手法

• 12個のLLMを用いて3つの推論タスクで因果メディエーション分析を実施し、推論ステップ（中間変数）が最終的出力（結果）に与える因果的影響を測定する。
• LLMを用いて事実的および反事実的推論チェーンを生成し、訓練中に暗黙のフィードバックを得るための好みデータを生成する。
• 直接好み最適化（DPO）を用いて推論モジュールを訓練し、反事実的チェーンよりも正しい推論チェーンを好むようにする。
• 反事実的および因果的好みの目的関数を用いて訓練された推論モジュールを設計し、推論ステップの忠実な使用を保証する。
• DPOおよび因果的好みランク付けを用いて微調整された小規模言語モデルを用い、大規模モデルから信頼性のあるCoT推論を蒸留する。
• Quarel、StrategyQA、OpenBookQA、QASCの4つの推論ベンチマークで、複数のモデルスケールおよびアブレーションスタディを用いてFrodoの評価を行う。

Figure 1: An example of our proposed causal analysis to measure the faithfulness of the final output with respect to the CoT generated by the model. We perturbed CoT rationales and studied the causal impact on the model’s behaviour.

実験結果

リサーチクエスチョン

• RQ1 LLMは、最終的な答えを生成する際に、自身が生成した推論ステップをどの程度因果的に依存しているか？
• RQ2 多くのLLMが、最終予測に影響を与えないが一見妥当な推論トレースを生成する理由は何か？
• RQ3 LLMが生成する暗黙のフィードバックを用いて、小規模モデルが正しいかつ因果的に関連する推論ステップを生成するように訓練できるか？
• RQ4 推論モジュールをどのように訓練すれば、中間的推論ステップを忠実に使用して答えの精度を向上させられるか？
• RQ5 Frodoは、標準的な蒸留法と比較して、分布外の推論例において一般化性能と頑健性を向上させるか？

主な発見

• 因果メディエーション分析の結果、GPT-3.5-Instructのようなインstructチューニングモデルは、ChatGPTのようなRLHFチューニングモデルよりも推論ステップが最終的出力に強い因果的影響を持つことが判明した。
• GPT-4は、変更された反事実的推論チェーンが与えられたとき、最終的な答えを30%の確率でしか変更しないため、推論ステップへの忠実性が弱いことが示された。
• Frodoは、教師あり微調整やCoT蒸留法を含む強力なベースラインよりも2–3%の絶対的精度向上を達成した。
• Frodoは、分布外のテストセットにおいて優れた頑健性と一般化性能を示し、標準的な蒸留法よりもOOD設定で優れた性能を発揮した。
• Frodoが生成する推論根拠は、標準的な教師あり微調整よりも最終予測に対して著しく忠実であることが判明した。
• フレームワークの性能は、LLMが生成する反事実的推論根拠の質に敏感であることが示され、外部モデル出力に依存していることがわかった。

Figure 2: Causal graph for natural language reasoning, where we model $P(Y|do(x))$ . $X_{0}$ = original reasoning problem, $X_{1}$ = intervened reasoning problem, $R_{0}$ = reasoning steps for $X_{0}$ reasoning problem, $R_{1}$ = reasoning steps for $X_{1}$ , $Y$ = output, and $M$ = model parameters