[论文解读] Collective Intelligence in Human-AI Teams: A Bayesian Theory of Mind Approach

Samuel Westby, Christoph Riedl|arXiv (Cornell University)|Aug 24, 2022

Team Dynamics and Performance被引用 4

一句话总结

该论文提出了一种基于贝叶斯心智理论（ToM）的框架，用于人机协作团队，通过分析沟通内容来建模队友的心理状态，从而提升集体智能。利用生成式计算模型，研究证明AI代理可通过基于信念差异的针对性消息发送来预测并提升团队表现，准确率达到82.1%——比随机干预高出4.9%；同时，实时ToM度量方法在仅分析25%的消息后，即可解释8%的团队表现方差。

ABSTRACT

We develop a network of Bayesian agents that collectively model the mental states of teammates from the observed communication. Using a generative computational approach to cognition, we make two contributions. First, we show that our agent could generate interventions that improve the collective intelligence of a human-AI team beyond what humans alone would achieve. Second, we develop a real-time measure of human's theory of mind ability and test theories about human cognition. We use data collected from an online experiment in which 145 individuals in 29 human-only teams of five communicate through a chat-based system to solve a cognitive task. We find that humans (a) struggle to fully integrate information from teammates into their decisions, especially when communication load is high, and (b) have cognitive biases which lead them to underweight certain useful, but ambiguous, information. Our theory of mind ability measure predicts both individual- and team-level performance. Observing teams' first 25% of messages explains about 8% of the variation in final team performance, a 170% improvement compared to the current state of the art.

研究动机与目标

• 开发一种用于人类团队的实时、计算基础的理论心智（ToM）能力度量方法。
• 建模人类与AI代理在协作决策过程中如何形成对队友信念的心理表征。
• 检验AI代理是否能通过基于信念差异的针对性干预来提升团队表现。
• 评估ToM能力对认知任务中个体与团队层面表现的预测能力。
• 通过在多智能体系统中嵌入动态贝叶斯推理，实现对集体智能理论的扩展，以支持实时适应。

提出的方法

• 一个贝叶斯智能体网络利用在隐藏信息任务中观察到的基于聊天的沟通，来建模人类队友的心理状态。
• 每个智能体维护一个自我模型（Ego Model，即自我信念）和多个他人模型（Alter Models，即队友信念），并通过接收到的消息进行贝叶斯推理来更新。
• 通过使用Kullback-Leibler（KL）散度计算Ego模型与Alter模型之间的信念差异，以识别最优干预消息。
• 干预消息被选择为能最小化Ego与Alter在答案选项上的后验分布之间KL散度的消息。
• 通过反事实模拟评估在随机干预与针对性AI干预下的表现差异，使用基于真实人类沟通训练的生成模型。
• 该框架通过分析早期沟通模式及其对最终团队表现的预测能力，实现了对ToM的实时度量。

实验结果

研究问题

• RQ1 基于贝叶斯ToM模型能否从人机团队的自然沟通中准确推断并表征队友心理状态的动态演变？
• RQ2 实时测量的个体心智理论能力在多大程度上能预测协作认知任务中个体与团队层面的表现？
• RQ3 AI代理是否能利用信念差异识别并发送针对性消息，显著提升团队表现，超越仅由人类参与的团队表现？
• RQ4 使用所提出的实时ToM度量方法，早期沟通模式能解释团队表现方差的多大比例？
• RQ5 与随机或非针对性干预相比，基于ToM的AI驱动干预在人机团队中的表现增益是多少？

主要发现

• 所提出的实时心智理论度量方法在仅观察到团队前25%消息后，即可解释最终团队表现8%的方差，相比当前最先进水平提升170%。
• 人类团队表现不佳是由于认知偏差所致，特别是对模糊但有用的信息重视不足，尤其在高沟通负荷下更为明显。
• 在反事实模拟中，使用贝叶斯ToM框架的AI代理在针对性干预下实现了82.1%的团队表现，显著优于随机干预（79.0%），p < 0.0001。
• 该模型成功捕捉了人类决策模式，表明人类在协作环境中虽不完美，但确实使用贝叶斯推理和ToM。
• 该框架通过测量团队成员间信念一致性与惊喜最小化，实现了对集体智能的实时预测。
• 本研究证明，AI代理可自主识别并发送消息，以减少队友信念中的不确定性，从而在无需预训练的情况下提升团队表现。