[論文レビュー] Human-in-the-Loop through Chain-of-Thought

Zefan Cai, Baobao Chang+1 more|arXiv (Cornell University)|Jun 10, 2023

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、大規模言語モデル（LLM）の推論を、チェーン・オブ・トゥグラウン（CoT）推論内の部分論理をユーザーが修正できるようにすることで向上させる、人間を含むループフレームワーク「マニュアル・コルレクション・システム（MCS）」を提案する。多様性に基づくサンプリングを用いて誤りを起こしやすいケースを特定し、的を射た手動編集（追加、削除、変更）を実施することで、人間の負担を最小限に抑えつつ推論の正確性を著しく向上させ、12のデータセットにおいて強力なベースラインを上回るコスト・パフォーマンスを達成した。

ABSTRACT

While the emergence of powerful language models along with Chain-of-thought prompting has made automation more and more omnipresent, it sometimes demonstrates its weakness in long-term or multi-step logical reasoning. For example, users don't always get desirable answers for complex mathematical problems without human involvement. Against this background, we present the Manual Correction System (MCS) -- a human-in-the-loop system enhanced by Chain-of-Thought prompting, which explores how manual correction of sub-logics in rationales can improve LLM's reasoning performance. Moving one step forward, considering a system with human-in-the-loop involves more than having humans improve performance but also controlling the cost. Therefore, we post a Cost-utility Analysis Model for Human-in-the-Loop systems (CAMLOP) based on classical economics theory to analyze, quantify and balance the utility and the corresponding cost. We conduct experiments of MCS and CAMLOP with twelve datasets. A significant advantage w.r.t cost and utility proves its superiority over strong baselines.

研究の動機と目的

• 長時間にわたる、複数ステップにわたる推論タスクにおけるLLMの限界、特に複雑な数学的・論理的問題における限界を是正すること。
• CoT推論内の部分論理に対して的を射た、効率的な手動補正を実施する人間を含むループシステムを構築し、LLMの推論パフォーマンスを向上させること。
• 経済学的モデルを用いて、人間の関与のコストと効用を定量化・バランスさせること。
• ファインチューニングやパラメータへのアクセスなしに、LLM推論に人間の監視を統合する実用的でスケーラブルなフレームワークを提供すること。

提案手法

• MCSは4段階のプロセスを採用する：(1) 多様性のある推論を生成するためのCoTプロンプトとサンプリング、(2) 多様性エントロピーを用いたフィルタリングにより、不確実性が高く誤りを起こしやすいサンプルを特定、(3) 最も可能性の高い推論における部分論理（追加、削除、変更）の手動補正、(4) グリーディなCoTデコーディングによる最終的回答生成。
• 多様性エントロピーは、不確実性の代理指標として用いられ、人間の介入が必要なタイミングを効果的に特定し、無駄な人間労働を削減する。
• システムは、問題全体の再解決ではなく、推論内の部分論理コンponentsに限定して人間の編集を実施することで、効率性と使いやすさを向上させる。
• 人間を含むループシステムのコスト・ユーティリティ分析モデル（CAMLOP）を提案し、経済的原則を用いてコスト（時間、労力）とユーティリティ（正確性、満足度）をモデル化する。
• CAMLOPは、時間、金銭、正確性、ユーザー満足度といった次元におけるトレードオフを定量化し、人間を含むループ戦略の体系的比較を可能にする。
• ユーティリティ関数は、実証的に導出され、$ u(x_{LLM}, x_{Human}) = x_{LLM}^{2.05} imes (10 imes x_{Human})^{1.94} $ として表される。これは、LLMと人間の貢献の相対的影響を反映している。

実験結果

リサーチクエスチョン

• RQ1 人間を含むループシステムは、人間のコストを最小限に抑えつつ、どのようにしてLLMの推論パフォーマンスを向上させることができるか？
• RQ2 推論チェーン内で、どのタイミングに人間の介入を行うと、効用を最大化し、作業負荷を最小限に抑えられるか？
• RQ3 CoT推論内の部分論理レベルでの補正は、問題全体の再解決に比べて、より効果的かつ効率的であると期待できるか？
• RQ4 人間を含むループLLMシステムにおけるコストと効用のバランスを、定量的で経済学的モデルで定式化できるか？

主な発見

• MCSは、算術、常識的推論、記号的推論を含む12の多様なデータセットにおいて、最先端のパフォーマンスを達成した。
• 部分論理レベルでの正確な人間による補正を可能にすることで、MCSは推論の正確性を著しく向上させた。
• CAMLOPはコスト・ユーティリティのトレードオフを成功裏に定量化し、MCSが強力なベースラインよりも低いコストで高いユーティリティを達成していることを示した。
• 多様性に基づくフィルタリング機構は、誤りを起こしやすいケースを効果的に特定し、全サンプルのレビューに比べて、人間による補正回数を最大50％まで削減できた。
• 回帰分析により、人間の関与がユーティリティ関数においてほぼ対称的かつ高い影響を持つことが確認され、$ x_{Human} $ が $ x_{LLM}^{2.05} $ とほぼ同等の貢献度を持つことが示された。
• 自己整合性実験では、MCS + 自己整合性が、精度とコスト効率の両面で他の手法を上回り、そのスケーラビリティと頑健性を実証した。