[论文解读] Human-in-the-Loop through Chain-of-Thought

Zefan Cai, Baobao Chang+1 more|arXiv (Cornell University)|Jun 10, 2023

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出手动修正系统（MCS），一种人机协同框架，通过允许用户修正思维链（CoT）推理中的子逻辑，提升大语言模型（LLM）的推理能力。通过结合基于多样性的采样以识别易错案例，并进行有针对性的手动编辑（添加、删除、修改），MCS在显著降低人力成本的同时大幅提升推理准确性，在12个数据集上实现了更高的效用-成本平衡表现，优于强基线模型。

ABSTRACT

While the emergence of powerful language models along with Chain-of-thought prompting has made automation more and more omnipresent, it sometimes demonstrates its weakness in long-term or multi-step logical reasoning. For example, users don't always get desirable answers for complex mathematical problems without human involvement. Against this background, we present the Manual Correction System (MCS) -- a human-in-the-loop system enhanced by Chain-of-Thought prompting, which explores how manual correction of sub-logics in rationales can improve LLM's reasoning performance. Moving one step forward, considering a system with human-in-the-loop involves more than having humans improve performance but also controlling the cost. Therefore, we post a Cost-utility Analysis Model for Human-in-the-Loop systems (CAMLOP) based on classical economics theory to analyze, quantify and balance the utility and the corresponding cost. We conduct experiments of MCS and CAMLOP with twelve datasets. A significant advantage w.r.t cost and utility proves its superiority over strong baselines.

研究动机与目标

• 为解决LLM在长周期、多步骤推理任务中的局限性，尤其是在复杂数学与逻辑问题中的表现。
• 开发一种人机协同系统，通过针对思维链推理中子逻辑的精准、高效人工修正，提升LLM推理性能。
• 利用经济学启发模型量化并平衡人机协同系统中人类参与的成本与效用。
• 提供一种实用且可扩展的框架，实现对LLM推理过程的人工监督，无需微调或参数访问。

提出的方法

• MCS包含四个阶段：(1) 通过采样进行CoT提示，生成多样化推理过程；(2) 使用多样性熵筛选高不确定性或易出错样本；(3) 对最可能的推理过程中的子逻辑部分（添加、删除、修改）进行人工修正；(4) 通过贪婪CoT解码生成最终答案。
• 多样性熵被用作不确定性的代理指标，以指导人类干预的时机，减少不必要的劳动投入。
• 系统将人工编辑限制在推理过程的子逻辑组件层面，而非完整问题求解，从而提升效率与可用性。
• 提出一种面向人机协同系统的成本-效用分析模型（CAMLOP），基于经济原理建模成本（时间、精力）与效用（准确性、满意度）。
• CAMLOP量化了时间、金钱、准确性与用户满意度等维度之间的权衡，支持对人机协同策略的系统性比较。
• 效用函数通过实证推导得出：$ u(x_{LLM}, x_{Human}) = x_{LLM}^{2.05} \times (10 \times x_{Human})^{1.94} $，反映LLM与人工贡献的相对影响。

实验结果

研究问题

• RQ1 如何设计人机协同系统，以在最小化人力成本的同时提升LLM推理性能？
• RQ2 在推理链中何时应进行人工干预，以实现最大效用并最小化工作量？
• RQ3 在CoT推理中对子逻辑层级进行修正，是否比完整问题重算更有效且高效？
• RQ4 是否存在一种可量化的、基于经济学的模型，用于平衡人机协同LLM系统中的成本与效用？

主要发现

• MCS在12个涵盖算术、常识与符号推理任务的多样化数据集上达到最先进性能。
• 该系统通过支持对CoT推理过程进行精确的子逻辑层级人工修正，显著提升了推理准确性。
• CAMLOP成功量化了成本-效用权衡，表明MCS在更低成本下实现了更高效用，优于强基线模型。
• 基于多样性的过滤机制能有效识别易错案例，与全样本审查相比，所需人工修正次数减少高达50%。
• 回归分析证实，人工参与在效用函数中具有近乎对称且高影响力的作用，$ x_{Human} $ 的贡献几乎与 $ x_{LLM}^{2.05} $ 相当。
• 在自一致性实验中，MCS + 自一致性方法在准确率与成本效率方面均优于其他方法，证明了其可扩展性与鲁棒性。