[论文解读] An Introduction to Collective Intelligence

David H. Wolpert, Kagan Tumer|ArXiv.org|Aug 17, 1999

Game Theory and Applications参考文献 234被引用 186

一句话总结

本文提出集体智能（COIN）作为一种框架，用于设计大规模去中心化系统，其中智能体通过强化学习（RL）优化全局世界效用函数，而无需集中控制。通过推导出使个体智能体激励与集体表现对齐的奖励函数，该方法避免了诸如“公地悲剧”等陷阱，并在复杂分布式任务（如数据包路由和领导者-跟随者协调）中优于传统方法。

ABSTRACT

This paper surveys the emerging science of how to design a ``COllective INtelligence'' (COIN). A COIN is a large multi-agent system where: (i) There is little to no centralized communication or control; and (ii) There is a provided world utility function that rates the possible histories of the full system. In particular, we are interested in COINs in which each agent runs a reinforcement learning (RL) algorithm. Rather than use a conventional modeling approach (e.g., model the system dynamics, and hand-tune agents to cooperate), we aim to solve the COIN design problem implicitly, via the ``adaptive'' character of the RL algorithms of each of the agents. This approach introduces an entirely new, profound design problem: Assuming the RL algorithms are able to achieve high rewards, what reward functions for the individual agents will, when pursued by those agents, result in high world utility? In other words, what reward functions will best ensure that we do not have phenomena like the tragedy of the commons, Braess's paradox, or the liquidity trap? Although still very young, research specifically concentrating on the COIN design problem has already resulted in successes in artificial domains, in particular in packet-routing, the leader-follower problem, and in variants of Arthur's El Farol bar problem. It is expected that as it matures and draws upon other disciplines related to COINs, this research will greatly expand the range of tasks addressable by human engineers. Moreover, in addition to drawing on them, such a fully developed scie nce of COIN design may provide much insight into other already established scientific fields, such as economics, game theory, and population biology.

研究动机与目标

• 解决在无集中协调下，智能体需集体优化全局效用函数的去中心化可扩展系统设计挑战。
• 识别个体RL智能体的奖励函数，确保其自利优化能带来高集体表现，避免诸如“公地悲剧”等系统性失败。
• 开发一种与模型无关、基于本地信息和学习而非详细系统建模的COIN设计自适应框架。
• 通过人工领域（如El Farol酒吧问题和领导者-跟随者协调）的实验验证该框架，证明其在不确定性下仍具鲁棒性能。
• 为将COIN原则应用于网络、优化和生物系统等现实世界问题奠定基础。

提出的方法

• 将COIN形式化为具有最少集中通信的大型多智能体系统，并引入用于评估全局行为的世界效用函数评分体系。
• 在智能体层面使用强化学习（RL）算法，每个智能体根据本地奖励信号学习以最大化其私有效用。
• 通过数学框架设计智能体奖励函数，确保个体效用与全局效用对齐，该框架基于“猜测影响集”概念推导而来。
• 应用宏观学习——一种元学习形式——在运行时动态调整智能体奖励函数，以提升向最优系统行为收敛的速度。
• 在合成领域（如El Farol酒吧问题、领导者-跟随者问题）中进行实验验证，以测试该框架的鲁棒性与可扩展性。
• 与基线方法（包括使用全局系统知识的方法）进行性能对比，证明基于本地信息的自适应方法具有优越性。

实验结果

研究问题

• RQ1 如何设计个体智能体的奖励函数，使其自利的RL优化能在去中心化系统中实现高全局世界效用？
• RQ2 何种机制可确保COIN中的RL智能体不相互冲突，避免诸如Braess悖论或流动性陷阱等系统性失败？
• RQ3 在复杂分布式任务中，基于本地信息的与模型无关的方法是否能优于传统的集中建模控制策略？
• RQ4 当初始奖励函数次优时，系统如何在运行时自适应调整以提升集体表现？
• RQ5 该COIN设计的理论框架在多大程度上可应用于现实世界问题，如互联网路由或交通管理？

主要发现

• 所提出的基于将智能体奖励函数与全局效用对齐的COIN设计框架，在El Farol酒吧问题和领导者-跟随者协调任务中显著优于传统方法。
• 在随机奖励矩阵的实验中，宏观学习使系统能够从暂时的性能下降中恢复并收敛至最优行为，而基线系统则陷入停滞。
• 即使框架的理论假设仅近似成立，该方法仍表现出强劲性能，证明其对模型不确定性的鲁棒性。
• 通过利用本地信息并借助宏观学习动态调整奖励函数，系统在无需全局系统建模的情况下实现了最优集体结果。
• 通过合理设计激励机制，该框架成功缓解了诸如“公地悲剧”和Braess悖论等集体失败模式。
• 该方法已在人工领域中得到验证，并已开始应用于现实世界问题，如互联网数据包路由和高使用率收费车道设计。