[論文レビュー] Question Decomposition Improves the Faithfulness of Model-Generated Reasoning

Ansh Radhakrishnan, Karina Nguyen+22 more|arXiv (Cornell University)|Jul 17, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文は、大規模言語モデル（LLM）の推論の忠実性を向上させるために、質問の分解――特に要因分解――を提案する。元の質問からの誤った手がかりに依存するのを減らすことで、要因分解は推論の忠実性を著しく向上させ、標準的なチェーン・オブ・チョイス（CoT）と比較して忠実性の指標で優れているが、正確性を損なわない。

ABSTRACT

As large language models (LLMs) perform more difficult tasks, it becomes harder to verify the correctness and safety of their behavior. One approach to help with this issue is to prompt LLMs to externalize their reasoning, e.g., by having them generate step-by-step reasoning as they answer a question (Chain-of-Thought; CoT). The reasoning may enable us to check the process that models use to perform tasks. However, this approach relies on the stated reasoning faithfully reflecting the model's actual reasoning, which is not always the case. To improve over the faithfulness of CoT reasoning, we have models generate reasoning by decomposing questions into subquestions. Decomposition-based methods achieve strong performance on question-answering tasks, sometimes approaching that of CoT while improving the faithfulness of the model's stated reasoning on several recently-proposed metrics. By forcing the model to answer simpler subquestions in separate contexts, we greatly increase the faithfulness of model-generated reasoning over CoT, while still achieving some of the performance gains of CoT. Our results show it is possible to improve the faithfulness of model-generated reasoning; continued improvements may lead to reasoning that enables us to verify the correctness and safety of LLM behavior.

研究の動機と目的

• タスクの複雑化に伴い、LLMの動作の正しさと安全性を検証する課題が増大するのに対処する。
• バイアスや無視された推論の証拠がある中で、チェーン・オブ・チョイス（CoT）推論がモデルの内部プロセスに対して本当に忠実であるかどうかを調査する。
• 性能を損なわず忠実性を向上させる代替のプロンプト戦略を探索する。
• 特に独立したコンテキスト処理を伴う、質問を部分質問に分解することによって、より信頼性が高く解釈可能な推論が得られるかどうかを評価する。

提案手法

• 要因分解を用いる方法であり、各部分質問が別々のコンテキストで回答され、元の質問の潜在的なバイアスからの推論の分離が図られる。
• 部分回答がその後統合され、最終的な答えが生成され、推論ステップが独立した推論に基づいていることが保証される。
• 標準的なCoTとは対照的であり、すべての推論が一つのコンテキストですられる。また、チェーン・オブ・チョイス分解とは対照的であり、部分質問が依然として一つのコンテキストにリンクされている。
• 忠実性は推論の切り詰めや破損に対する感受性によって測定され、スコアが高いほど推論が最終的な答えに直接影響を与えていることを示す。
• 性能は質問への回答の正確性で評価され、忠実性は最終的な答えの推論の摂動に対する感受性や、バイアスのあるコンテキストにおける正確性の変化といった指標で評価される。
• 汎用性を高めるために、高品質なデモンストレーションを含むfew-shotプロンプトが使用される。

実験結果

リサーチクエスチョン

• RQ1 要因分解は、標準的なチェーン・オブ・チョイス（CoT）プロンプトよりも忠実な推論を生み出すか？
• RQ2 要因分解は、モデルの推論における言語化されていないバイアスへの依存をどの程度低減するか？
• RQ3 分解に基づく手法は、忠実性を向上させつつも、高い質問への回答の正確性を維持できるか？
• RQ4 さまざまなプロンプト戦略において、最終的な答えは推論ステップの破損や切り詰めに対してどの程度感受性を示すか？
• RQ5 部分質問を独立したコンテキストで回答することで、モデルが推論を無視したり歪めたりする傾向が減少するか？

主な発見

• 要因分解は、最終的な答えの切り詰めに対する感受性で最高の忠実性スコア20.5を達成し、標準的なCoT（11.7）およびチェーン・オブ・チョイス分解（10.8）を著しく上回った。
• 最終的な答えの破損に対する感受性では、要因分解が33.6を記録したのに対し、チェーン・オブ・チョイス分解は28.7、標準的なCoTは9.6であった。これは、推論が出力に強く影響を与えていることを示している。
• 要因分解は、バイアスのあるコンテキストにおける正確性の変化を-3.6にまで低減した。これに対してCoTは-11.3であったため、言語化されていないバイアスへの依存が減少した。
• 忠実性が向上したにもかかわらず、要因分解は高い性能を維持し、質問への回答の正確性が81.8%に達し、CoTの86.0%に近く、優れた性能を示した。
• 推論が破損した状況では、要因分解は推論が変更された際に最終的な答えが変わりやすい傾向にあり、推論と出力の間の整合性が強いことを示している。
• この手法は、4つの多様な質問への回答タスクにおいて、忠実性指標の向上が一貫して得られた。