[논문 리뷰] Modeling Theory of Mind in Multi-Agent Games Using Adaptive Feedback Control

Ismael T. Freire, Xerxes D. Arsiwalla외 2명|arXiv (Cornell University)|2019. 05. 29.

Evolutionary Game Theory and Cooperation참고 문헌 37인용 수 9

한 줄 요약

이 논문은 다중 에이전트 시스템에서 이론적 마음(ToM)을 모델링하기 위해 적응형 피드백 제어를 사용하는 제어 이론적 프레임워크를 제안한다. 이 프레임워크는 계층적 제어 레이어를 통해 상향식 예측과 하향식 오차 신호를 통합한다. 실험 결과, 다른 에이전트의 정책을 모델링하거나 이성적으로 행동하는 에이전트가 순수 강화학습 에이전트보다 게임 이론적 과제에서 더 높은 성능을 보이며, 특히 협력 및 경쟁 게임인 사슴 사냥과 애인의 싸움에서 더 빠른 수렴 속도를 기록한다.

ABSTRACT

A major challenge in cognitive science and AI has been to understand how autonomous agents might acquire and predict behavioral and mental states of other agents in the course of complex social interactions. How does such an agent model the goals, beliefs, and actions of other agents it interacts with? What are the computational principles to model a Theory of Mind (ToM)? Deep learning approaches to address these questions fall short of a better understanding of the problem. In part, this is due to the black-box nature of deep networks, wherein computational mechanisms of ToM are not readily revealed. Here, we consider alternative hypotheses seeking to model how the brain might realize a ToM. In particular, we propose embodied and situated agent models based on distributed adaptive control theory to predict actions of other agents in five different game theoretic tasks (Harmony Game, Hawk-Dove, Stag-Hunt, Prisoner's Dilemma and Battle of the Exes). Our multi-layer control models implement top-down predictions from adaptive to reactive layers of control and bottom-up error feedback from reactive to adaptive layers. We test cooperative and competitive strategies among seven different agent models (cooperative, greedy, tit-for-tat, reinforcement-based, rational, predictive and other's-model agents). We show that, compared to pure reinforcement-based strategies, probabilistic learning agents modeled on rational, predictive and other's-model phenotypes perform better in game-theoretic metrics across tasks. Our autonomous multi-agent models capture systems-level processes underlying a ToM and highlight architectural principles of ToM from a control-theoretic perspective.

연구 동기 및 목표

• 자율 에이전트에서 이론적 마음(ToM)의 아키텍처적 및 계산적 원리를 이해하기 위해.
• 사회적 추론을 지원하는 생물학적으로 타당하고 몸에 박히며 상황적 인지 아키텍처를 개발하기 위해.
• 예측 및 적응형 피드백을 갖춘 제어 기반 모델이 사회적 의사결정 과제에서 표준 강화학습보다 뛰어난 성능을 보일 수 있는지 테스트하기 위해.
• 다섯 가지 대표적인 게임 이론적 시나리오에서 시뮬레이션 및 실제 몸체를 가진 로봇 환경을 통해 모델을 검증하기 위해.
• 협동, 예측, 타자 모델화 등 다양한 행동 유형이 공통된 사회적 역학 하에서 어떻게 나타나고 성능을 발휘하는지 탐구하기 위해.

제안 방법

• 반응형(하향식) 및 적응형(상향식) 제어 레이어로 구성된 다층 제어 아키텍처를 설계하며, 피드백 루프로 연결한다.
• 상향식 예측을 통해 반응형 행동을 이끌고, 하향식 오차 신호로 적응형 정책을 업데이트한다.
• 반응형 레이어의 예측 오차를 바탕으로 장기 보상 최대화를 위한 강화학습을 적응형 레이어에 구현한다.
• 조화 게임, 사슴 사냥, 호위·도발 게임, 국무회의의 딜레마, 애인의 싸움 등 게임 이론 기반 벤치마크를 사용해 에이전트 성능을 평가한다.
• 부분 관측 가능성과 실시간 센서 피드백을 갖춘 ePuck 로봇을 사용해 시뮬레이션 환경과 실제 로봇 플랫폼에서 모두 모델을 검증한다.
• 협동형, 이기적, 대가로 대응, 강화학습 기반, 이성적, 예측형, 타자 모델링형 등 총 일곱 가지 에이전트 유형을 비교한다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 제어 메커니즘을 사용해 인공 에이전트에서 이론적 마음을 어떻게 구현할 수 있는가?
• RQ2 적응형 피드백 제어 아키텍처가 순수 강화학습보다 사회적 게임에서 더 빠른 수렴과 더 나은 성능을 보일 수 있는가?
• RQ3 다른 이의 정책을 예측하거나 모델링하는 에이전트가 순수 자가 최적화에 의존하는 에이전트보다 더 높은 성능을 내는가?
• RQ4 신체적이고 상황적 조건이 다중 에이전트 시스템에서 ToM 유사 행동의 출현에 어떻게 영향을 미치는가?
• RQ5 예측형 및 타자 모델링형 에이전트가 인간의 행동 패턴을 사회적 의사결정 과제에서 얼마나 잘 재현하는가?

주요 결과

• 모든 다섯 가지 게임 이론적 과제에서, 예측형 또는 타자 모델링형 행동을 취하는 에이전트가 순수 강화학습 에이전트보다 보상과 수렴 속도 측면에서 뛰어난 성능을 보였다.
• 상대의 움직임을 바탕으로 최적 행동을 가정하는 이성적 에이전트가 대부분의 게임에서 가장 높은 성능을 기록했으며, 전략적 사고의 가치를 입증했다.
• 예측형 및 타자 모델링형 에이전트는 모든 게임 유형에서 상대의 행동과 정책을 예측하는 데 성공했으며, 이는 功能적 ToM 능력을 보여주었다.
• 실시간 피드백이 있는 몸에 박힌 로봇 환경에서는 구동형(비상호작용) 시뮬레이션에서 관찰된 수렴 문제를 해결했으며, 상황적 상호작용의 이점을 입증했다.
• 애인의 싸움 게임에서 인간의 놀라움 프로파일은 이성적 또는 순수 강화학습 에이전트와는 다르게 예측형 및 타자 모델링형 에이전트와 유사했으며, 이는 인지적 타당성을 시사한다.
• 복잡한 협력 및 경쟁 게임에서 순수 강화학습 에이전트는 최적 균형에 수렴하지 못했으며, 타자 모델링 없이 사회적 추론 능력의 한계를 드러냈다.