[論文レビュー] Collective Intelligence in Human-AI Teams: A Bayesian Theory of Mind Approach

Samuel Westby, Christoph Riedl|arXiv (Cornell University)|Aug 24, 2022

Team Dynamics and Performance被引用数 4

ひとこと要約

本稿では、人間とAIの共同作業を支援するベイジアン的心の理論（ToM）フレームワークを提案し、会話からチームメイトの心の状態をモデル化することで、集団知能を向上させる。生成的計算モデルを用いて、信念の乖離に基づき的確なメッセージを送信することで、AIエージェントがチームのパフォーマンスを予測・向上させられることを示した。82.1%の正確性を達成し、ランダムな干渉より4.9%高い。また、リアルタイムのToM測定値は、メッセージの25%が終了した段階でチームパフォーマンスの分散の8%を説明する。

ABSTRACT

We develop a network of Bayesian agents that collectively model the mental states of teammates from the observed communication. Using a generative computational approach to cognition, we make two contributions. First, we show that our agent could generate interventions that improve the collective intelligence of a human-AI team beyond what humans alone would achieve. Second, we develop a real-time measure of human's theory of mind ability and test theories about human cognition. We use data collected from an online experiment in which 145 individuals in 29 human-only teams of five communicate through a chat-based system to solve a cognitive task. We find that humans (a) struggle to fully integrate information from teammates into their decisions, especially when communication load is high, and (b) have cognitive biases which lead them to underweight certain useful, but ambiguous, information. Our theory of mind ability measure predicts both individual- and team-level performance. Observing teams' first 25% of messages explains about 8% of the variation in final team performance, a 170% improvement compared to the current state of the art.

研究の動機と目的

• 人間のチームにおける理論的思考（ToM）能力をリアルタイムで、計算的に根拠のある測定方法を開発すること。
• 人間とAIエージェントが共同意思決定の過程で、チームメイトの信念をどのように心理的表象として形成するかをモデル化すること。
• AIエージェントが信念の乖離に基づいて的確な干渉メッセージを発信することで、チームパフォーマンスを向上させられることを検証すること。
• ToM能力の予測的パワーが、認知的タスクにおける個人およびチームレベルのパフォーマンスに与える影響を評価すること。
• 動的でベイジアン推論を統合したマルチエージェントシステムを用いて、リアルタイムでの適応を可能にする集団知能理論を拡張すること。

提案手法

• ベイジアンエージェントのネットワークが、隠れたプロファイルタスクにおけるチャットベースのコミュニケーションを観測することで、人間のチームメイトの心の状態をモデル化する。
• 各エージェントは、自己の信念（Ego Model）と複数の他者信念（Alter Models）を維持し、受信メッセージに基づいてベイジアン推論で更新する。
• 信念の乖離は、カルバック・ライバラー（KL）ダイバージェンスを用いてEgoとAlterモデル間で計算され、最適な干渉メッセージを同定する。
• 干渉メッセージは、答えの選択肢についてEgoとAlterの事後分布のKLダイバージェンスを最小化するメッセージとして選択される。
• 反事後的シミュレーションにより、ランダム干渉と比較してAIによる的確な干渉のパフォーマンスを評価し、実際の人間のコミュニケーションに基づいて訓練された生成的モデルを用いる。
• フレームワークにより、初期のコミュニケーションパターンの分析と最終的なチームパフォーマンスへの予測可能性を活用し、リアルタイムのToM測定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンToMモデルは、人間-AIチームにおける自然な会話から、チームメイトの進化的な心の状態を正確に推論・表現できるか？
• RQ2 リアルタイムで測定された個人の理論的思考能力は、共同認知的タスクにおける個人およびチームレベルのパフォーマンスをどの程度予測できるか？
• RQ3 AIエージェントが信念の乖離を用いて的確なメッセージを同定・送信することで、人間のみでのパフォーマンスを上回るチームパフォーマンスを実現できるか？
• RQ4 初期のコミュニケーションパターンを用いた本研究のリアルタイムToM測定値が、チームパフォーマンスの変動のどの程度を説明できるか？
• RQ5 人間-AIチームにおけるAI駆動のToMベースの干渉は、ランダム干渉や非的確干渉と比較して、どの程度のパフォーマンス向上をもたらすか？

主な発見

• 提案されたリアルタイム理論的思考測定値は、チームのメッセージの最初の25%を観測した段階で、最終的なチームパフォーマンスの分散の8%を説明する。これは、現在の最先端技術比で170%の向上である。
• 人間のチームは認知バイアスのためパフォーマンスが劣り、特に通信負荷が高い状況下で、曖昧だが有用な情報を過小評価する傾向がある。
• ベイジアンToMフレームワークを用いたAIエージェントは、反事後的シミュレーションで的確な干渉を実施した結果、82.1%のチームパフォーマンスを達成し、ランダム干渉（79.0%）を有意に上回り（p < 0.0001）、統計的有意差を示した。
• モデルは人間の意思決定パターンを効果的に捉えており、人間が共同作業の場面でベイジアン推論とToMを用いているが、不完全に実行していることを示している。
• フレームワークにより、チームメンバー間の信念の一致度と驚きの最小化を測定することで、集団知能のリアルタイム予測が可能になる。
• 本研究は、AIエージェントが事前にトレーニングを受けることなく、自らがチームメイトの信念の不確実性を低減するメッセージを同定・送信できることを示した。