[논문 리뷰] Machine Theory of Mind

Neil C. Rabinowitz, Frank Perbet외 4명|arXiv (Cornell University)|2018. 02. 21.

Evolutionary Game Theory and Cooperation참고 문헌 55인용 수 69

한 줄 요약

이 논문은 ToMnet를 소개한다, 관찰된 행동으로 에이전트 모델을 구축하여 미래의 행동과 잠재 상태를 예측하는 메타러닝 신경망으로, 그리드월드 POMDP에서 다양한 에이전트 모집단에 걸친 소수 샷 추론을 효과적으로 수행하고 고전적 마음 이론 과제를 통과한다.

ABSTRACT

Theory of mind (ToM; Premack & Woodruff, 1978) broadly refers to humans' ability to represent the mental states of others, including their desires, beliefs, and intentions. We propose to train a machine to build such models too. We design a Theory of Mind neural network -- a ToMnet -- which uses meta-learning to build models of the agents it encounters, from observations of their behaviour alone. Through this process, it acquires a strong prior model for agents' behaviour, as well as the ability to bootstrap to richer predictions about agents' characteristics and mental states using only a small number of behavioural observations. We apply the ToMnet to agents behaving in simple gridworld environments, showing that it learns to model random, algorithmic, and deep reinforcement learning agents from varied populations, and that it passes classic ToM tasks such as the "Sally-Anne" test (Wimmer & Perner, 1983; Baron-Cohen et al., 1985) of recognising that others can hold false beliefs about the world. We argue that this system -- which autonomously learns how to model other agents in its world -- is an important step forward for developing multi-agent AI systems, for building intermediating technology for machine-human interaction, and for advancing the progress on interpretable AI.

연구 동기 및 목표

• AI 및 인간-기계 상호작용에서 다른 에이전트에 대한 해석 가능하고 예측 가능한 모델의 필요성을 제기한다.
• 관측된 흔적으로 에이전트 행동에 대한 일반적 사전과 에이전트 특화 사후를 형성하는 메타러닝 관찰자(ToMnet)를 제안한다.
• ToMnet가 모집단 전반에 걸쳐 무작위, 알고리즘적, 심층 RL 에이전트를 모델링할 수 있음을 보인다.
• 행동만으로 목표, 믿음 및 믿음 관련 상태(거짓 믿음을 포함)를 추론할 수 있음을 보여준다.
• 다중 에이전트 AI, 해석 가능성, 인간-기계 인터페이스 분야에서의 잠재적 응용을 부각한다.

제안 방법

• ToMnet를 세 모듈로 정의한다: 과거 궤적으로부터 캐릭터 임베딩을 구축하는 캐릭터 네트, 현재 궤적으로부터 현재 에이전트의 정신 상태를 추론하는 멘탈 스테이트 네트, 임베딩에 조건화된 미래 행동을 출력하는 예측 네트.
• 에이전트 모집단에 대한 추론을 비용-효율적으로 수행하도록 ToMnet를 엔드투엔드로 학습하고, 제한된 데이터로 새로운 에이전트에 대한 빠른 온라인 예측을 가능하게 한다.
• 에이전트와 POMDP를 보상, 할인률, 관찰은 에이전트에 특이적이고 동역학은 POMDP로부터 오는 작업군으로 표현한다.
• 무작위, 알고리즘적, 심층 RL 등 여러 에이전트 종을 포함한 시뮬레이션된 그리드월드 설정을 사용해 ToMnet의 다양한 능력을 평가한다.
• 베이지안에서 영감을 받은 해석을 도입하여 캐릭터 임베딩이 에이전트 행동에 대한 사전으로, 멘탈 스테이트 임베딩이 잠재 상태에 대한 사후로 작용한다.

실험 결과

연구 질문

• RQ1 신경 관찰자가 에이전트 모집단에 대한 일반적인 사전을 학습하고 적은 관찰로 개별 에이전트에 빠르게 적응할 수 있는가?
• RQ2 ToMnet가 에이전트의 목표지향적 행동에 대한 온라인 추론을 수행하고 목표와 후속 표현을 예측하는 것을 포함해 가능한가?
• RQ3 ToMnet가 POMDP에서 거짓 믿음을 포함한 추상적이고 해석 가능한 구분을 포착하는가?
• RQ4 에이전트 임베딩에 병목을 도입하는 것이 에이전트 요인들의 해리와 예측 품질에 어떤 영향을 미치는가?
• RQ5 그리드월드 환경에서 무작위, 알고리즘적 및 심층 RL 에이전트 모집단에 걸친 ToMnet의 능력과 한계는 무엇인가?

주요 결과

• ToMnet는 간단한 무작위 에이전트에 대해 베이즈와 유사한 위계적 추론을 에이전트 특징에 대해 근사한다.
• ToMnet는 알고리즘적 에이전트의 목표와 대상 선호를 추론하고 POMDP에서 후속 표현을 예측할 수 있다.
• ToMnet는 서로 다른 심층 RL 에이전트 종(시야 없음, 시야 있음, 기억을 가진 시야 있음)을 구분하고 모델링하며 이들 에이전트의 추상적 임베딩을 형성할 수 있다.
• 병목(Deep Variational Information Bottleneck)으로 학습하면 ToMnet가 에이전트 성격 공간의 변화 요인을 해리하는 데 도움이 된다.
• ToMnet는 POMDP에서 에이전트가 거짓 믿음을 갖는 것을 암묵적으로 학습하고 행동만으로 믿음 상태를 예측할 수 있다.
• 이 아키텍처는 온라인, 샘플 효율적 추론을 지원하고 가시성 및 정책 구조가 다른 모집단 간에 일반화할 수 있다.