[논문 리뷰] Collective Intelligence in Human-AI Teams: A Bayesian Theory of Mind Approach

Samuel Westby, Christoph Riedl|arXiv (Cornell University)|2022. 08. 24.

Team Dynamics and Performance인용 수 4

한 줄 요약

이 논문은 인간-AI 팀에서 공동 지능을 향상시키기 위해 의사소통에서 동료의 정서 상태를 모델링하는 베이지안 마음 이론(ToM) 프레임워크를 제안한다. 생성형 계산 모델을 사용하여, AI 에이전트가 믿음의 차이를 기반으로 타겟팅된 메시지를 보내 성과를 예측하고 향상시킬 수 있음을 입증한다. 이로 인해 82.1%의 정확도를 달성했으며, 무작위 간섭 대비 4.9% 높은 성능을 기록했고, 실시간 ToM 측정치는 단지 25%의 메시지 이후 팀 성과 변동성의 8%를 설명한다.

ABSTRACT

We develop a network of Bayesian agents that collectively model the mental states of teammates from the observed communication. Using a generative computational approach to cognition, we make two contributions. First, we show that our agent could generate interventions that improve the collective intelligence of a human-AI team beyond what humans alone would achieve. Second, we develop a real-time measure of human's theory of mind ability and test theories about human cognition. We use data collected from an online experiment in which 145 individuals in 29 human-only teams of five communicate through a chat-based system to solve a cognitive task. We find that humans (a) struggle to fully integrate information from teammates into their decisions, especially when communication load is high, and (b) have cognitive biases which lead them to underweight certain useful, but ambiguous, information. Our theory of mind ability measure predicts both individual- and team-level performance. Observing teams' first 25% of messages explains about 8% of the variation in final team performance, a 170% improvement compared to the current state of the art.

연구 동기 및 목표

• 인간 팀에서 마음 이론(ToM) 능력을 실시간으로, 계산적으로 기반을 두고 측정하는 것을 목적으로 한다.
• 협업 의사결정 과정에서 인간과 AI 에이전트가 동료의 믿음에 대한 정서적 표현을 어떻게 형성하는지 모델링하는 것.
• AI 에이전트가 믿음의 차이를 기반으로 타겟팅된 간섭을 유도함으로써 팀 성과를 향상시킬 수 있는지 테스트하는 것.
• 개인 및 팀 수준의 성과에 대한 ToM 능력의 예측 능력을 평가하는 것.
• 실시간 적응을 위한 다중 에이전트 시스템에 동적이고 베이지안 추론을 통합함으로써 공동 지능 이론을 확장하는 것.

제안 방법

• 숨겨진 프로필 과제에서 인간 동료의 정서 상태를 관찰된 채팅 기반 의사소통을 통해 모델링하는 베이지안 에이전트 네트워크.
• 각 에이전트는 자기 믿음(자기 모델)과 여러 동료의 믿음(다른 모델)을 유지하며, 들어오는 메시지에 기반해 베이지안 추론을 통해 업데이트한다.
• 믿음의 차이를 Kullback-Leibler(KL) 발산을 사용해 계산하여 최적의 간섭 메시지를 식별한다.
• 간섭 메시지는 답변 선택지에 대한 자기 모델과 다른 모델의 사후 확률 간 KL 발산을 최소화하는 메시지로 선택된다.
• 실제 인간 의사소통 데이터로 훈련된 생성 모델을 사용해, 무작위 대비 타겟팅된 AI 간섭의 성능을 평가하는 반사적 시뮬레이션.
• 초기 의사소통 패턴 분석과 최종 팀 성과에 대한 예측 능력을 기반으로 실시간 ToM 측정이 가능해진다.

실험 결과

연구 질문

• RQ1 베이지안 ToM 모델은 인간-AI 팀의 자연스러운 의사소통에서 동료의 진화하는 정서 상태를 정확하게 추론하고 표현할 수 있는가?
• RQ2 실시간으로 측정된 개인의 마음 이론 능력은 협업 인지 과제에서 개인 및 팀 수준의 성과를 얼마나 잘 예측하는가?
• RQ3 AI 에이전트는 믿음의 차이를 활용해 효과적으로 팀 성과를 향상시키는 타겟팅된 메시지를 식별하고 전송할 수 있는가? 이는 인간 전용 성과를 초월하는가?
• RQ4 초기 의사소통 패턴을 사용해 제안된 실시간 ToM 측정치로 팀 성과의 변동성은 얼마나 설명될 수 있는가?
• RQ5 인간-AI 팀에서 AI 기반의 ToM 기반 간섭은 무작위 또는 비타겟팅 간섭 대비 얼마나 더 높은 성과를 기록하는가?

주요 결과

• 제안된 실시간 마음 이론 측정치는 팀 메시지의 첫 25%만 관찰한 후 최종 팀 성과 변동성의 8%를 설명하며, 현재 최고 기술 대비 170% 향상된 성과를 기록한다.
• 인간 팀은 인지적 편향으로 인해 성과가 떨어지며, 특히 높은 의사소통 부담 상황에서 모호하지만 유용한 정보를 과소평가하는 경향이 있다.
• 베이지안 ToM 프레임워크를 사용한 AI 에이전트는 타겟팅된 간섭을 통해 반사적 시뮬레이션에서 82.1%의 팀 성과를 달성했으며, 무작위 간섭(79.0%)보다 유의미하게 높은 성능을 보였고, p < 0.0001이다.
• 모델은 인간의 의사결정 패턴을 성공적으로 포착했으며, 인간이 협업 환경에서 베이지안 추론과 ToM를 사용하지만, 완벽하지 않다는 점을 보여준다.
• 이 프레임워크는 팀원 간 믿음의 일치도와 놀라움 최소화 정도를 측정함으로써 실시간으로 공동 지능을 예측할 수 있도록 한다.
• 이 연구는 AI 에이전트가 사전 훈련 없이도 스스로 믿음의 불확실성을 줄이는 메시지를 식별하고 전송함으로써 팀 성과를 향상시킬 수 있음을 입증한다.