[論文レビュー] LLMs cannot find reasoning errors, but can correct them given the error location

Gladys Tyen, Hassan Mansoor+3 more|arXiv (Cornell University)|Nov 14, 2023

Software Engineering Research被引用数 6

ひとこと要約

この論文では、Chain-of-Thought推論トレースにおける論理的誤りのデータセットであるBIG-Bench Mistakeを紹介し、誤りの位置を活用して推論誤りを是正する軽量な補正手法backtrackingを提案する。大規模言語モデル（LLM）は独立して誤りを検出できないが、誤りの位置が与えられれば、報酬モデルの正確性が60–70%程度であっても、保証された精度向上（保留されたタスクで最大+22.59%）を達成し、誤り是正が誤りの位置が分かれば実現可能であることを示している。

ABSTRACT

While self-correction has shown promise in improving LLM outputs in terms of style and quality (e.g. Chen et al., 2023b; Madaan et al., 2023), recent attempts to self-correct logical or reasoning errors often cause correct answers to become incorrect, resulting in worse performances overall (Huang et al., 2023). In this paper, we show that poor self-correction performance stems from LLMs' inability to find logical mistakes, rather than their ability to correct a known mistake. Firstly, we benchmark several state-of-the-art LLMs on their mistake-finding ability and demonstrate that they generally struggle with the task, even in highly objective, unambiguous cases. Secondly, we test the correction abilities of LLMs -- separately from mistake finding -- using a backtracking setup that feeds ground truth mistake location information to the model. We show that this boosts downstream task performance across our 5 reasoning tasks, indicating that LLMs' correction abilities are robust. Finally, we show that it is possible to obtain mistake location information without ground truth labels or in-domain training data. We train a small classifier with out-of-domain data, which exhibits stronger mistake-finding performance than prompting a large model. We release our dataset of LLM-generated logical mistakes, BIG-Bench Mistake, to enable further research into locating LLM reasoning mistakes.

研究の動機と目的

• 大規模言語モデル（LLM）が自らのChain-of-Thought推論トレースにおける論理的誤りを信頼性を持って検出できるかどうかを調査すること。
• 推論誤りを是正する際の自己是正の失敗を是正すること。これは、しばしば性能を低下させる。
• 誤りの位置が提供された場合に、出力を是正するbacktracking手法を提案すること。
• gold-standardな誤りラベルとシミュレートされた報酬モデルを用いて、backtrackingの有効性を評価すること。
• 小さな微調整済み報酬モデルが誤り発見を支援し、分布外のタスクに一般化できるかどうかを調査すること。

提案手法

• 著者らは、PaLM 2-L-Unicornが生成した2,186件のCoTスタイル推論トレースと、最初の論理的誤りの位置がラベル付けされたデータセットBIG-Bench Mistakeをリリースする。
• 自己是正を2つのコンponentに分解する：誤り発見（誤りの特定）と出力是正（誤りの修正）。この中で、根本的な失敗要因は誤り発見であると特定する。
• backtrackingを、モデル自身の推論パスを再利用し、誤りの位置以降のステップのみを変更する後処理的手法として提案する。
• backtrackingは、重み更新なしで反復的改善を可能にする「言語的強化学習」の一種として定式化される。
• 4つのタスクで小さなPaLM 2-XS-Otter報酬モデルを学習し、保留されたタスクにおける誤り発見精度の向上を評価する。
• gold-standardな誤りラベルと、精度が変動する（例：60–70%）シミュレートされた報酬モデルを用いて、backtrackingの性能を評価する。

Figure 1: Graph of mistake location accuracies for each prompting method (excluding GPT-4-Turbo which we do not have CoT step-level results for). Blue bars show accuracies on traces with no mistakes, so the model must predict that the trace has no mistake to be considered correct; orange bars show a

実験結果

リサーチクエスチョン

• RQ1 最先端のLLMは、外部フィードバックなしで自らのChain-of-Thought推論トレースにおける論理的誤りを信頼性を持って検出できるか？
• RQ2 推論誤りの位置が与えられると、LLMの出力是正能力が著しく向上するか？
• RQ3 小さな微調整済み報酬モデルはゼロショットLLMを上回る誤り発見性能を示すか？また、分布外タスクに一般化できるか？
• RQ4 gold-standardではなく、正確性が低い報酬モデルが誤りの位置を提供する場合、backtrackingはどの程度有効か？
• RQ5 backtrackingを1つの推論トレース内で複数の誤りに対して繰り返し適用できるか？

主な発見

• PaLM 2-L-Unicornを含むLLMは、客観的かつ明確な論理的誤りに対しても、誤り発見において顕著に困難を示し、低い正確性を示す。
• gold-standardな誤り位置が与えられたbacktrackingは、元のタスクでの性能を向上させ、Dyck言語タスクで最大+22.59%の向上を達成する。
• 報酬モデルの正確性が60–70%程度であっても、backtrackingは有効であり、正確性の向上幅は低精度モデルよりも顕著に大きい。
• 微調整済みの小さな報酬モデルは、5つの保留タスクのうち4つでゼロショットベースライン比で+11.66～+22.59の絶対的正確性向上を達成する。
• 報酬モデルは分布外タスクへの一般化性を示しており、一般化の可能性を示唆しているが、タスク間で性能向上が一貫しない。
• 本研究では、誤り発見が自己是正の主なボトル neck であることが特定され、誤りの位置が分かれば是正が可能であることが実証された。

Figure 2: $\Delta$ accuracy ${}_{\text{\char 51}}$ and $\Delta$ accuracy ${}_{\text{\char 55}}$ on each dataset as accuracy RM increases.