[論文レビュー] SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning

Ning Miao, Yee Whye Teh+1 more|arXiv (Cornell University)|Aug 1, 2023

Topic Modeling被引用数 11

ひとこと要約

SelfCheck はゼロショットのマルチステージ検証を用いて LLM の推論の各ステップを検証し、複数の解に対して加重投票を適用して GSM8K、MathQA、MATH の最終精度を向上させる。外部データやファインチューニングなし。

ABSTRACT

The recent progress in large language models (LLMs), especially the invention of chain-of-thought prompting, has made it possible to automatically answer questions by stepwise reasoning. However, when faced with more complicated problems that require non-linear thinking, even the strongest LLMs make mistakes. To address this, we explore whether LLMs are able to recognize errors in their own step-by-step reasoning, without resorting to external resources. To this end, we propose SelfCheck, a general-purpose zero-shot verification schema for recognizing such errors. We then use the results of these checks to improve question-answering performance by conducting weighted voting on multiple solutions to the question. We test SelfCheck on three datasets (GSM8K, MathQA, and MATH) and find that it successfully recognizes errors and, in turn, increases final answer accuracies.

研究の動機と目的

• 標準的なチェーンオブソート prompting を超える信頼性の高い多段階推論の必要性を動機づける。
• 外部リソースを使わずに個々のステップの誤りを特定するゼロショット自己検証スキーマを提案する。
• 各ステップの検証を信頼度スコアに統合して、重み付き投票を通じて全体の回答精度を改善する。
• 複数の数学データセットでの有効性を示し、設計選択を正当化するアブレーションを分析する。

提案手法

• SelfCheck を、前のステップに条件づけられた各ステップを評価するゼロショットチェッカーとして導入する。
• ステップ検証を四つの段階に分解する：ターゲット抽出、情報収集、ステップの再生成、結果の比較。
• 収集した情報を用いて独立した別解のステップを再生成し、それを元のステップと比較して正確さを評価する。
• 各ステップ検証から全体の信頼度スコア w を計算し、複数解に対する重み付き投票を可能にする。

Figure 1: Example of using SelfCheck, focusing on the checking of a particular step (Step 5). To check the correctness of the step, SelfCheck goes through 4 stages. First, in the target extraction stage, it figures out that the main purpose of Step 5 is to complete the square. In the information col

実験結果

リサーチクエスチョン

• RQ1 外部データなしで、ゼロショットの LLM ベースのチェッカーは自分の逐次推論の誤りを特定できるか。
• RQ2 ステップを再生成して元のステップと比較することは、直接的な検証より信頼性を向上させるか。
• RQ3 各解の信頼度スコアは、複数の解に対する重み付き投票を通じて最終回答の精度を向上させるか。

主な発見

• SelfCheck は単純な多数決を越える最終回答の精度をデータセットと設定を超えて向上させる。
• 信頼度によるフィルタリング時には、GSM8K、MathQA、MATH* それぞれで誤答を 9%、22.8%、16.2% 減少させる意味のある信頼度推定を生む。
• ステップ検証の再生成と比較を用いる方法は、アブレーションでグローバルまたは単一段階検証より優れている。
• ジェネレータとチェッカーの組み合わせ（安価なLLM を含む）でも改善が得られ、生成と検証の間の相関の連関が低減されることを示す。
• より多くの解をアンサンブルすると SelfCheck は多数決を上回り続け、アンサンブルサイズが大きくなるほど利得が維持される。

Figure 4: True positive rates (TP) vs. false positive rates (FP) as classification threshold, $t$ , is varied.