[論文レビュー] Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives

Wenqi Zhang, Yongliang Shen+5 more|arXiv (Cornell University)|Jan 4, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、自己反復の新規手法 Self-Contrast を提案する。この手法は、多様な問題解決の視点を生成し、それらの相違を対比分析することで、是正用チェックリストを構築することで、大規模言語モデル（LLM）の推論を向上させる。自己評価における過信や一貫性の欠如を軽減することで、自己反復の信頼性を向上させ、外部フィードバックを一切用いず、推論および翻訳タスクにおいて顕著な性能向上を達成する。

ABSTRACT

The reflection capacity of Large Language Model (LLM) has garnered extensive attention. A post-hoc prompting strategy, e.g., reflexion and self-refine, refines LLM's response based on self-evaluated or external feedback. However, recent research indicates without external feedback, LLM's intrinsic reflection is unstable. Our investigation unveils that the key bottleneck is the quality of the self-evaluated feedback. We find LLMs often exhibit overconfidence or high randomness when self-evaluate, offering stubborn or inconsistent feedback, which causes poor reflection. To remedy this, we advocate Self-Contrast: It adaptively explores diverse solving perspectives tailored to the request, contrasts the differences, and summarizes these discrepancies into a checklist which could be used to re-examine and eliminate discrepancies. Our method endows LLM with diverse perspectives to alleviate stubborn biases. Moreover, their discrepancies indicate potential errors or inherent uncertainties that LLM often overlooks. Reflecting upon these can catalyze more accurate and stable reflection. Experiments conducted on a series of reasoning and translation tasks with different LLMs serve to underscore the effectiveness and generality of our strategy.

研究の動機と目的

• LLM の自己反復の不安定性を是正すること、これは過信や一貫性の欠如による自己評価に起因する。
• 外部フィードバックに依存せずに、LLM の事後的反復の信頼性を向上させること。
• 内発的な思考の多様性を活用して見過ごされた誤りを特定する手法を開発すること。
• 推論の広がりと深まりを両立させる柔軟で適応可能な反復メカニズムを構築すること。
• このアプローチの汎用性と有効性を、複数の LLM およびタスクタイプにわたり実証すること。

提案手法

• 入力要請に適合するように自己整備されたプロンプトを通じて、複数の問題解決の視点を生成する。
• 顕著な相違を示す応答ペアを選別し、対比的分析を実施する。
• 視点間の相違を分析して、潜在的な誤り、見過ごされた詳細、または推論上の欠陥を特定する。
• これらの相違点を統合し、自己是正用の構造化されたチェックリストを生成する。
• チェックリストが、重要な仮定や推論ステップの再点検をモデルに促す。
• 全プロセスがエンドツーエンドで LLM に依存しており、事前に定義されたエージェント役割や手動のプロンプト設計を必要としない。

実験結果

リサーチクエスチョン

• RQ1 なぜ、事後的プロンプト戦略が採用されていても、LLM の自己反復はしばしば失敗するのか？
• RQ2 LLM の自己評価における不安定性、特に過信や一貫性の欠如の原因は何か？
• RQ3 複数の問題解決の視点を対比することで、自己反復の質は向上するのか？
• RQ4 推論の内部的多様性は、より信頼性の高い誤り検出と是正にどのように寄与するのか？
• RQ5 外部フィードバックなしで、自己駆動型の対比的反復メカニズムは、標準的な自己評価を上回るのか？

主な発見

• Self-Contrast は、複数の推論および翻訳タスクにおいて、自己反復のパフォーマンスを顕著に向上させる。
• 過信や自己評価の一貫性の欠如を軽減することで、自己是正の失敗率が低下する。
• テストされたベンチマークにおいて、初期応答が誤りである場合の是正率が、平均して 15.1% から 40% を超えるまで上昇する。
• 異なる LLM においても一貫した向上効果を示し、強い汎用性を示す。
• 多様な視点の対比的分析により、単一視点評価では見過ごされる誤りが特定される。
• 生成されたチェックリストは、正確な再検討を促すために非常に効果的であり、標準的な自己反復ベースラインを上回る。