[论文解读] ChatLLM Network: More brains, More intelligence

Rui Hao, Linmei Hu+4 more|arXiv (Cornell University)|Apr 24, 2023

Topic Modeling被引用 5

一句话总结

本文提出 ChatLLM 网络，一种新颖的框架，通过模型间交互、反馈与集体推理，使多个基于对话的语言模型协同解决任务。通过采用前向聚合机制与基于语言的反向传播方法，该网络显著提升了响应的稳定性和全面性，在情感反转与数字模式分类任务中相较独立模型实现了最先进性能。

ABSTRACT

Dialogue-based language models mark a huge milestone in the field of artificial intelligence, by their impressive ability to interact with users, as well as a series of challenging tasks prompted by customized instructions. However, the prevalent large-scale dialogue-based language models like ChatGPT still have room for improvement, such as unstable responses to questions and the inability to think cooperatively like humans. Considering the ability of dialogue-based language models in conversation and their inherent randomness in thinking, we propose ChatLLM network that allows multiple dialogue-based language models to interact, provide feedback, and think together. We design the network of ChatLLMs based on ChatGPT. Specifically, individual instances of ChatGPT may possess distinct perspectives towards the same problem, and by consolidating these diverse viewpoints via a separate ChatGPT, the ChatLLM network system can conduct decision-making more objectively and comprehensively. In addition, a language-based feedback mechanism comparable to backpropagation is devised to update the ChatGPTs within the network. Experiments on two datasets demonstrate that our network attains significant improvements in problem-solving, leading to observable progress amongst each member.

研究动机与目标

• 解决类似 ChatGPT 的单个基于对话的语言模型存在的不稳定性与片面推理问题。
• 通过允许多个大语言模型共享多样化视角并整合洞察，提升问题解决性能。
• 开发一种类反向传播的反馈机制，使模型能够从错误中学习并实现迭代改进。
• 评估协作推理在提升自然语言处理任务中响应质量与情感强度方面的有效性。
• 构建一种可扩展、通用的框架，适用于除 ChatGPT 外的多种基于对话的大语言模型。

提出的方法

• ChatLLM 网络整合多个 ChatGPT 实例，每个模型独立生成对给定输入的响应。
• 前向聚合机制通过整合各模型的亮点，合成更全面的响应。
• 基于语言的反向传播机制使主导模型能向从属模型传播反馈，基于批评更新其推理过程。
• 应用丢弃机制以管理每个模型的输入负载，防止信息过载并提升鲁棒性。
• 网络通过前向聚合与基于反馈的迭代优化循环运行，模拟协作式思维过程。
• 一个独立的外部 ChatGPT 作为裁判，评估并打分生成响应的质量，尤其关注情感强度在情感反转任务中的表现。

实验结果

研究问题

• RQ1 多个基于对话的大语言模型之间的协作互动是否能提升响应稳定性并减少事实性不一致？
• RQ2 通过观点聚合实现的集体推理在多大程度上能增强模型输出的全面性？
• RQ3 基于语言的反馈机制在优化模型输出并随时间提升性能方面有多有效？
• RQ4 在需要细致理解的任务中，如情感强度操控，该网络是否优于独立模型？
• RQ5 所提出的框架能否在不同类型的基于对话的大语言模型与自然语言处理任务中实现泛化？

主要发现

• 在情感反转任务中，应用反馈后，ChatLLM 网络在 60 场比较中赢下 53 场，而未使用反馈时仅赢 26 场。
• 当使用自反馈时，独立的 ChatGPT 在 60 场比较中输掉 53 场，表明其内部批评带来的改进有限。
• 在反馈条件下，ChatLLM 网络取得 53 胜 7 负的战绩，证明模型间反馈与协作带来了显著性能提升。
• 即使无反馈，该网络仍优于独立模型（53 胜 7 负 vs. 22 胜 38 负），表明聚合本身已具备内在价值。
• 示例显示，网络能生成情感强度更强的句子，例如将 'incredibly dull' 替换为 'excruciatingly dull'，源于更丰富的词汇选择。
• 结果证实，基于语言的反向传播机制通过支持从反馈中迭代学习，有效提升了模型性能。