[论文解读] AI agents can coordinate beyond human scale

Giordano De Marzo, Claudio Castellano+1 more|arXiv (Cornell University)|Sep 4, 2024

Translation Studies and PracticesArts and Humanities被引用 3

一句话总结

本文研究了大型语言模型（LLM）社会在无外部指导的情况下，能否就任意规范达成共识，采用受统计物理和行为科学启发的框架。研究发现，共识通过一种与LLM语言理解能力成比例的‘多数力’形成，使群体在远超人类极限的规模下实现共识——当语言能力足够高时，其规模可比典型人类群体大一个数量级甚至更多。

ABSTRACT

Large language models (LLMs) are increasingly deployed in collaborative tasks involving multiple agents, forming an "AI agent society: where agents interact and influence one another. Whether such groups can spontaneously coordinate on arbitrary decisions without external influence - a hallmark of self-organized regulation in human societies - remains an open question. Here we investigate the stability of groups formed by AI agents by applying methods from complexity science and principles from behavioral sciences. We find that LLMs can spontaneously form cohesive groups, and that their opinion dynamics is governed by a majority force coefficient, which determines whether coordination is achievable. This majority force diminishes as group size increases, leading to a critical group size beyond which coordination becomes practically unattainable and stability is lost. Notably, this critical group size grows exponentially with the language capabilities of the models, and for the most advanced LLMs, it exceeds the typical size of informal human groups. Our findings highlight intrinsic limitations in the self-organization of AI agent societies and have implications for the design of collaborative AI systems where coordination is desired or could represent a treat.

研究动机与目标

• 探究LLM是否能在无外部指导或偏向某一选项的信息条件下，就任意规范达成共识。
• 理解LLM社会中集体协调的极限，类比于人类群体的认知极限。
• 量化LLM的语言理解能力如何影响其在大规模群体中达成共识的能力。
• 利用统计物理和行为科学的原理，对LLM集合中的意见动态进行建模。
• 基于LLM的语言理解能力，确定在何种群体规模下共识将变得不可行

提出的方法

• 使用二元意见更新协议模拟LLM智能体群体中的意见动态，其中每个智能体根据其他人的集体意见选择一个观点。
• 采用基于提示的交互框架，智能体被展示一份同伴及其观点的列表，随后在两个任意观点标签（例如 'k' 和 'z'）之间做出选择，以避免内在偏见。
• 在每个时间步对观点标签进行随机重排，以消除对某一标签的系统性偏好，确保评估的公平性。
• 使用Curie-Weiss（CW）平均场自旋模型对系统进行建模，将集体意见映射为磁化强度'm'，并将多数力'β'作为关键参数。
• 将经验得到的意见转移概率拟合到函数 P(m) = 0.5[tanh(β·m) + 1]，证实不同模型间存在普遍行为。
• 推导出自洽方程 m = tanh(β·m)，以确定临界点 β = 1，标志着共识形成的起始点。

实验结果

研究问题

• RQ1 在缺乏外部信息或偏好支持的情况下，LLM能否就任意规范达成共识？
• RQ2 在特定LLM的语言理解能力下，共识可行的最大群体规模是多少？
• RQ3 由语言理解驱动的‘多数力’β如何影响LLM群体中共识的出现？
• RQ4 是否存在一个临界群体规模，超过该规模后，共识对给定LLM而言在统计上变得不可行？
• RQ5 LLM的意见动态是否遵循一种与模型架构或身份无关的普遍函数形式？

主要发现

• 控制共识形成的多数力β随LLM语言理解能力的提升而增强，从而实现更大规模的协调。
• 当 β(N_c) = 1 时，共识在临界群体规模 N_c 之外变得不可行，标志着类似于Curie-Weiss模型的二级相变。
• 对于最先进的LLM，临界群体规模 N_c 随语言理解能力呈指数增长，可达到典型人类群体规模（例如约250人）的数个数量级。
• 不同LLM（GPT、Claude、Llama）的经验意见动态均收敛到统一函数 P(m) = 0.5[tanh(β·m) + 1]，证实其存在共享的底层动态。
• 当 β = 1 时系统出现相变，共识随着 β 超过该阈值而逐渐形成。
• 即使 β > 1，统计涨落仍会阻止完全共识，使得 β(N_c) = 1 成为可行共识群体规模的严格上限。