[论文解读] Examining Inter-Consistency of Large Language Models Collaboration: An In-depth Analysis via Debate

Kai Xiong, Xiao Ding+3 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 4

一句话总结

本文提出 FORD，一种形式化辩论框架，用于研究在常识推理任务中，协作型大语言模型（LLMs）之间的相互一致性。通过三阶段辩论——公平辩论、能力不匹配辩论和圆桌辩论——LLMs 尽管存在相互不一致性，仍能达成共识，但当模型能力失衡时性能会下降；使用 GPT-4 作为裁判可略微提升结果，凸显了权威监督在协作型 LLM 系统中的作用。

ABSTRACT

Large Language Models (LLMs) have shown impressive capabilities in various applications, but they still face various inconsistency issues. Existing works primarily focus on the inconsistency issues within a single LLM, while we complementarily explore the inter-consistency among multiple LLMs for collaboration. To examine whether LLMs can collaborate effectively to achieve a consensus for a shared goal, we focus on commonsense reasoning, and introduce a formal debate framework (FORD) to conduct a three-stage debate among LLMs with real-world scenarios alignment: fair debate, mismatched debate, and roundtable debate. Through extensive experiments on various datasets, LLMs can effectively collaborate to reach a consensus despite noticeable inter-inconsistencies, but imbalances in their abilities can lead to domination by superior LLMs. Leveraging a more advanced LLM like GPT-4 as an authoritative judge can boost collaboration performance. Our work contributes to understanding the inter-consistency among LLMs and lays the foundation for developing future collaboration methods. Codes and data are available at https://github.com/Waste-Wood/FORD

研究动机与目标

• 研究多个 LLM 在协作推理过程中表现出的相互一致性，补充现有针对单模型自我一致性的研究。
• 设计一种结构化的辩论框架（FORD），以实现在现实对齐场景中对 LLM 协作进行系统性、定量分析。
• 评估不同能力的 LLM 在辩论过程中的互动方式，以及它们是否能够达成一致且可靠的结论。
• 评估更先进的 LLM（如 GPT-4）作为裁判在总结辩论和提升最终共识方面的影响。

提出的方法

• 提出三阶段辩论框架：公平辩论（能力相当的 LLM）、能力不匹配辩论（能力差异的 LLM）和圆桌辩论（多个 LLM）。
• 使用多选常识推理数据集（如 CSQA、PIQA、StrategyQA）来量化相互不一致性并衡量协作结果。
• 采用形式化的辩论协议，其中 LLM 交替提出论点、反驳论点及潜在妥协方案。
• 引入指标 INCON，以定量衡量 LLM 预测之间的相互不一致性。
• 使用 GPT-4 作为裁判，总结辩论并分配最终结论，从而提升共识的可靠性。
• 在未达成一致时采用投票机制，最终答案基于多数共识得出。

Figure 1: (a) compromise and (b) refutation in LLMs debates. is the proponent, and is the opponent.

实验结果

研究问题

• RQ1 在存在固有的相互不一致性的情况下，多个 LLM 到底能在多大程度上通过结构化辩论达成共识？
• RQ2 LLM 之间的能力失衡在多大程度上影响辩论动态和最终共识的质量？
• RQ3 更先进的 LLM（如 GPT-4）能否作为有效裁判，以改善协作结果？
• RQ4 在辩论情境下，不同 LLM 架构（如对话型与文本补全型）在协作推理中的表现有何差异？
• RQ5 在圆桌辩论中，辩论顺序或参与人数是否显著影响最终结果？

主要发现

• 不同类型的 LLM，即使基于同一基础模型，也表现出高度的相互不一致性，表明其推理行为存在固有变异性。
• 即使在同一 LLM 系列中（如 GPT-3.5），新版本也未能完全取代旧版本，因为早期模型仍保留部分推理能力。
• 能力相当的 LLM 能够有效协作并达成共识，在常识推理任务中表现优异。
• 在能力不匹配的辩论中，优势 LLM 占主导地位且抗拒改变观点，而较弱模型更可能妥协，可能降低整体性能。
• 使用 GPT-4 作为裁判可略微提升协作性能，跨数据集的平均准确率从 80.05% 提升至 80.23%。
• 圆桌辩论显示出主导模式，某些 LLM 始终对结果产生显著影响，表明多智能体协作中存在结构性偏差。

Figure 2: The overall workflow of FORD on two LLMs. Step 1 : LLMs independently give a choice and explanation for each sample as the stance and argument, respectively. Step 2 : LLMs debate alternately on the inconsistent samples. Step 3 : A judge summarizes the whole debate process and gives the fin