[论文解读] Measurements of collective machine intelligence

Michel Halmes|arXiv (Cornell University)|Jun 27, 2013

Evolutionary Game Theory and Cooperation参考文献 41被引用 4

一句话总结

本文提出了一种正式框架，通过整合AI智能体群体中的任务分配与联合决策，来衡量集体机器智能。结果表明，经过专门化协作分配的智能体优于个体智能体，且性能可通过智能投票系统和自适应分配模型进一步提升——凸显了通过结构化协作，群体智能可超越个体能力。

ABSTRACT

Independent from the still ongoing research in measuring individual intelligence, we anticipate and provide a framework for measuring collective intelligence. Collective intelligence refers to the idea that several individuals can collaborate in order to achieve high levels of intelligence. We present thus some ideas on how the intelligence of a group can be measured and simulate such tests. We will however focus here on groups of artificial intelligence agents (i.e., machines). We will explore how a group of agents is able to choose the appropriate problem and to specialize for a variety of tasks. This is a feature which is an important contributor to the increase of intelligence in a group (apart from the addition of more agents and the improvement due to common decision making). Our results reveal some interesting results about how (collective) intelligence can be modeled, about how collective intelligence tests can be designed and about the underlying dynamics of collective intelligence. As it will be useful for our simulations, we provide also some improvements of the threshold allocation model originally used in the area of swarm intelligence but further generalized here.

研究动机与目标

• 开发一种用于衡量AI智能体群体集体智能的正式框架。
• 研究联合决策与任务分配如何共同提升群体智能，使其超越单个智能体的能力。
• 设计并模拟包含社会动态与自适应资源分配的集体智能测试。
• 优化并泛化阈值分配模型，以适用于多任务、异构智能体环境。
• 探究智能体能力、问题难度与投票系统对集体表现的影响。

提出的方法

• 使用参数化能力 α 的项目反应函数建模个体智能体智能，其中性能 Pλ(α) 反映问题求解的准确性。
• 采用基于阈值的分配模型，智能体根据刺激强度 Sj 和阈值 θij 概率性地在任务间切换，该模型已推广以包含智能体特定的智能。
• 引入一种投票系统，通过基于智能体能力 Pλ(α) 的加权投票聚合智能体决策，以提升群体准确性。
• 在多种问题上模拟群体表现，测试在不同专业化程度与噪声条件下的同质与异质智能体群体。
• 实施动态适应规则以更新阈值与刺激强度，包括基于智能体智能的扰动，以模拟分配不准确性。
• 测试向智能体提供问题难度估计与自身能力测量的影响，并探索随机模仿与最优模仿等机制以模拟社会学习。

实验结果

研究问题

• RQ1 通过协作与专业化，群体智能是否能显著超越其最聪明个体智能体的能力？
• RQ2 与简单多数投票相比，联合决策（尤其是加权投票）如何影响集体表现？
• RQ3 向智能体提供问题难度或其自身能力的度量，对群体智能有何影响？
• RQ4 在多任务环境中，任务分配（尤其是专业化分配）如何影响整体群体表现？
• RQ5 阈值分配模型能否被调整以反映与智能相关的分配准确性？其后果是什么？

主要发现

• 群体中专业化的智能体相较于非专业化智能体，实现了显著更高的集体表现，证明了任务专业化在提升群体智能方面的价值。
• 加权投票系统（投票权重基于智能体能力）优于简单多数投票，尤其在高、低性能智能体共存时表现更优。
• 向智能体提供问题难度度量可提升群体表现，尤其在复杂、多任务场景中效果显著。
• 当在最优投票方案中对准确率低于50%的智能体投票进行负权重处理时，其仍能为群体带来益处。
• 智能更高的智能体（α 值更大）表现出更准确的任务分配决策，且基于 α 的分配概率扰动可提升动态环境中的鲁棒性。
• 阈值分配模型可通过自适应规则（包括与智能体智能成反比的噪声项）进行泛化与增强，从而更真实地反映现实世界中的分配动态。