[論文レビュー] When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs

Ryo Kamoi, Yusen Zhang+3 more|arXiv (Cornell University)|Jun 3, 2024

Legal Education and Practice Innovations被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）における自己補正の臨界的レビューを行い、LLMsが自らの誤りを信頼性を持って是正できる条件を特定している。自己補正は文脈内学習を用いた一般タスクでは失敗するが、信頼できる外部フィードバックや大規模なファインチューニングを用いる場合には成功することが判明し、フィードバック生成が主なボトルネックであることが浮き彫りになった。

ABSTRACT

Self-correction is an approach to improving responses from large language models (LLMs) by refining the responses using LLMs during inference. Prior work has proposed various self-correction frameworks using different sources of feedback, including self-evaluation and external feedback. However, there is still no consensus on the question of when LLMs can correct their own mistakes, as recent studies also report negative results. In this work, we critically survey broad papers and discuss the conditions required for successful self-correction. We first find that prior studies often do not define their research questions in detail and involve impractical frameworks or unfair evaluations that over-evaluate self-correction. To tackle these issues, we categorize research questions in self-correction research and provide a checklist for designing appropriate experiments. Our critical survey based on the newly categorized research questions shows that (1) no prior work demonstrates successful self-correction with feedback from prompted LLMs, except for studies in tasks that are exceptionally suited for self-correction, (2) self-correction works well in tasks that can use reliable external feedback, and (3) large-scale fine-tuning enables self-correction.

研究の動機と目的

• LLMsが自らの誤りを自己補正できるかどうかについての合意が得られていない現状に対処すること。
• 自己補正研究における研究課題を特定・分類し、実験設計を改善すること。
• フィードバックの供給源（文脈内学習、外部ツール／知識、ファインチューニング）ごとに自己補正の有効性を評価すること。
• 公平で妥当な自己補正実験を設計するためのチェックリストを提供すること。
• 先行研究の実証的分析に基づき、自己補正がどの条件下で有効で、どの条件下で失敗するかを明確にすること。

提案手法

• 自己補正に関する研究課題を3種類に分類する：内在的自己補正（文脈内学習）、外部フィードバックを用いた自己補正、ファインチューニングによる自己補正。
• 推論、コーディング、質疑応答のタスクを対象に、28件の先行研究を分析し、異なるフィードバック源における自己補正のパフォーマンスを評価する。
• 先行研究における不適切な評価手法（不公平な比較、強力なベースラインの欠如など）を特定する。
• 適切なベースライン比較やネガティブ結果の報告を含む、妥当な実験設計のためのチェックリストを提言する。
• フィードバック品質が自己補正における主なボトルネックであることを評価する。特に、外部監視なしに文脈内学習に依存する場合に顕著である。
• タスクの性質（例：分解可能性）が、効果的な自己補正を可能にする役割を検討する。

Figure 1 : Self-correction in three stages: initial response generation, feedback, and refinement.

実験結果

リサーチクエスチョン

• RQ1 文脈内学習のみで外部フィードバックなしに、LLMsがどの条件下で自己補正できるか。
• RQ2 信頼できる外部フィードバック（例：ツールや検索からのもの）が利用可能な場合、自己補正はどの程度有効か。
• RQ3 大規模なファインチューニングは、強力な自己補正を可能にすることができるか。また、他の手法と比較してどうなるか。
• RQ4 理論的には有望であるにもかかわらず、一部の自己補正フレームワークが失敗する理由は何か。
• RQ5 自己補正の評価において、パフォーマンスが過大評価されてしまう主な設計上の欠陥は何か。

主な発見

• 一般タスクにおいて、プロンプトされたLLMsからのフィードバックを用いた自己補正は、先行研究で成功事例が確認されていない。これは、文脈内学習が自己補正に根本的な制限をもたらしていることを示している。
• コード実行やウェブ検索など、出力が検証可能な信頼できる外部フィードバックが利用可能なタスクでは、自己補正がうまく機能する。
• 大規模なファインチューニングは、自己補正パフォーマンスを顕著に向上させ、モデルの能力が推論ではなく学習によって獲得可能であることを示唆している。
• 応答が分解可能（例：段階的推論）であるタスクは、文脈内学習を用いても自己補正に適している。
• 多くの先行研究では、評価設定が不公正であり、過度に強いベースラインを使用したり、強力な代替手法との比較が欠落していたりするため、自己補正の向上効果が過大評価されていた。
• フィードバック生成が、特に外部監視なしに文脈内学習に依存する場合、自己補正における主なボトルネックである。

Figure 2 : LLM self-correction frameworks, categorized by information used for generating feedback and whether they use best-possible initial responses (§ 3.2 ). This figure illustrates representative architectures.