[論文レビュー] RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought

Tianci Xue, Ziqi Wang+4 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 5

ひとこと要約

RCOT（逆思考プロセス）は、元の問題を解法から再構築し、元の問題と照合することで、大規模言語モデル（LLM）が生成する推論における事実の不一致を検出し、是正する新しい手法である。微細なフィードバックを用いて幻覚、見落とし、誤解釈を是正し、7つの算術的推論データセットで最先端の性能を達成した。人間が作成したフィードバックを用いると、ChatGPTはGSM8Kで94.6％の正確性を達成した。

ABSTRACT

Large language Models (LLMs) have achieved promising performance on arithmetic reasoning tasks by incorporating step-by-step chain-of-thought (CoT) prompting. However, LLMs face challenges in maintaining factual consistency during reasoning, exhibiting tendencies to condition overlooking, question misinterpretation, and condition hallucination over given problems. Existing methods use coarse-grained feedback (e.g., whether the answer is correct) to improve factual consistency. In this work, we propose RCoT (Reversing Chain-of-Thought), a novel method to improve LLMs' reasoning abilities by automatically detecting and rectifying factual inconsistency in LLMs, generated solutions. To detect factual inconsistency, RCoT first asks LLMs to reconstruct the problem based on generated solutions. Then fine-grained comparisons between the original problem and the reconstructed problem expose the factual inconsistency in the original solutions. To rectify the solution, RCoT formulates detected factual inconsistency into fine-grained feedback to guide LLMs in revising solutions. Experimental results demonstrate improvements of RCoT over standard CoT, Self-Consistency and Self-Refine across seven arithmetic datasets. Moreover, we find that manually written fine-grained feedback can dramatically improve LLMs' reasoning abilities (e.g., ChatGPT reaches 94.6% accuracy on GSM8K), encouraging the community to further explore the fine-grained feedback generation methods.

研究の動機と目的

• 大規模言語モデル（LLM）の推論における持続的な事実の不一致、たとえば条件の幻覚、見落とし、質問の誤解釈といった問題に対処すること。
• 粗いフィードバックではなく、微細な精度で不一致を検出できる手法を開発すること。
• 実行可能で解釈可能なフィードバックを生成し、LLMが解決策を効果的に見直せるようにすること。
• 微細なフィードバックが、特に強力なプロンプトと組み合わせた場合に、推論の正確性を顕著に向上させることを実証すること。
• チェーン・オブ・トゥグラス推論における事実的誤りの自動検出と是正のフレームワークを確立すること。

提案手法

• RCOTは、逆プロンプティング戦略を用いて、LLMが生成した解決策から問題を再構築する。
• 再構築された問題と元の問題を微細な比較により、事実の不一致を検出する。
• 検出された不一致を、具体的なエラー（例：幻覚された条件、見落とされた制約）を強調する明確な自然言語フィードバックに形式化する。
• このフィードバックを用いて、LLMが元の解決策を段階的に見直すように誘導する。
• フィードバックと見直しの繰り返しにより、複数ラウンドにわたる自己是正が可能になる。
• RCOTは、GPT-3.5 や ChatGPT といったLLMを用いて、7つの算術的推論データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 逆問題再構築は、LLMが生成する推論における事実の不一致を効果的に検出できるか？
• RQ2 不一致検出から得られる微細なフィードバックは、粗いフィードバックよりも推論の正確性を顕著に向上させるか？
• RQ3 RCOTは、標準的なCoT、Self-Consistency、Self-Refineと比較して、事実の整合性と正確性の面で優れているか？
• RQ4 手作業で作成された微細なフィードバックは、LLMの推論性能をどの程度向上させられるか？
• RQ5 RCOTは、条件の幻覚や質問の誤解釈といった複雑な推論エラーを検出し是正できるか？

主な発見

• RCOTは、7つの算術的推論データセットにおいて、標準的なCoT、Self-Consistency、Self-Refineを顕著に上回り、優れた事実の整合性を示した。
• GSM8Kデータセットでは、微細なフィードバックを手作業で作成した場合、ChatGPTは94.6％の正確性を達成した。これは高品質なフィードバックの潜在的価値を示している。
• 比較的ケーススタディでは、Double-Checkが修正できなかった解決策をRCOTが成功裏に是正した。これは、グループサイズに関する誤った仮定といった特定の事実的エラーを検出できる能力のおかげである。
• RCOTは幻覚された条件（例：箱の重さを16ポンドと仮定したが実際は15ポンド）や見落とされた制約（例：スケジューリング問題で「2日後」を欠落）を同定し是正した。
• RCOTのフィードバックは解釈可能で実行可能であり、LLMと人間の両方が推論エラーを追跡・理解できる。
• 効果的である一方で、RCOTは計算エラーを検出できない。また、複数回のLLM推論ステップを必要とし、推論速度に影響を及える可能性がある。