[論文レビュー] Machine Theory of Mind

Neil C. Rabinowitz, Frank Perbet+4 more|arXiv (Cornell University)|Feb 21, 2018

Evolutionary Game Theory and Cooperation参考文献 55被引用数 69

ひとこと要約

本論文はToMnetを紹介します。観察された挙動からエージェントモデルを構築し、将来の行動と潜在状態を予測するメタ学習ニューラルネットワークです。これにより、gridworld POMDPsにおける多様なエージェント集団に対してファーストショット推論を効果的に実行し、古典的なToM（Theory of Mind）タスクをクリアします。

ABSTRACT

Theory of mind (ToM; Premack & Woodruff, 1978) broadly refers to humans' ability to represent the mental states of others, including their desires, beliefs, and intentions. We propose to train a machine to build such models too. We design a Theory of Mind neural network -- a ToMnet -- which uses meta-learning to build models of the agents it encounters, from observations of their behaviour alone. Through this process, it acquires a strong prior model for agents' behaviour, as well as the ability to bootstrap to richer predictions about agents' characteristics and mental states using only a small number of behavioural observations. We apply the ToMnet to agents behaving in simple gridworld environments, showing that it learns to model random, algorithmic, and deep reinforcement learning agents from varied populations, and that it passes classic ToM tasks such as the "Sally-Anne" test (Wimmer & Perner, 1983; Baron-Cohen et al., 1985) of recognising that others can hold false beliefs about the world. We argue that this system -- which autonomously learns how to model other agents in its world -- is an important step forward for developing multi-agent AI systems, for building intermediating technology for machine-human interaction, and for advancing the progress on interpretable AI.

研究の動機と目的

• AIとヒューマン-マシンインタラクションにおいて、他のエージェントの解釈可能で予測的なモデルの必要性を動機づける。
• 観察されたトレースからエージェント挙動全体に対する一般的な事前分布と、エージェント固有の事後分布を形成するメタ学習オブザーバー（ToMnet）を提案する。
• ToMnetがランダム、アルゴリズミック、Deep RLエージェントを含む集団全体でモデリングできることを実証する。
• 行動だけから目標・信念・信念関連状態（false beliefsを含む）を推定できるToMnetを示す。
• マルチエージェントAI、解釈性、およびヒューマン-マシンインターフェースにおける潜在的な応用を強調する。

提案手法

• ToMnetを三つのモジュールで定義します。過去の軌跡からキャラクター埋め込みを作るcharacter net、現在の軌跡から現在のエージェントの心的状態を推定するmental state net、埋め込みを条件として将来の挙動を出力するprediction net。
• ToMnetをエンドツーエンドで訓練し、エージェント集団全体の推論を“アムトライズ”して、データが限られた新規エージェントに対してオンライン予測を迅速に可能にする。
• 報酬、割引、観測はエージェント固有である一方、ダイナミクスはPOMDPsから来る、エージェントとPOMDPsをタスクのファミリーとして表現する。
• 複数のエージェント種（ランダム、アルゴリズミック、深層RL）を含むシミュレートされたgridworld設定を用いて、異なるToMnetの能力を評価する。
• キャラクター埋め込みがエージェント挙動の事前分布として、心的状態埋め込みが潜在状態の事後分布として機能する、ベイズ風の解釈を組み込む。

実験結果

リサーチクエスチョン

• RQ1 ニューラルオブザーバーはエージェント集団全体に対する一般的な事前分布を学習し、少数の観測から個々のエージェントに迅速に適応できるか？
• RQ2 ToMnetはエージェントの目標指向的行動のオンライン推論（目標や継承表現の予測を含む）を行えるか？
• RQ3 ToMnetはPOMDPにおけるfalse beliefsを含む、エージェント種間の抽象的で解釈可能な区別を捉えるか？
• RQ4 エージェント埋め込みへのボトルネックを取り入れることが、エージェント因子の分離と予測精度にどう影響するか？
• RQ5 gridworld環境におけるランダム、アルゴリズミック、深層RLエージェント集団に対するToMnetの能力と限界は何か？

主な発見

• ToMnetは単純なランダムエージェントに対して、エージェント特性に関するBayes風の階層推論を近似する。
• ToMnetはアルゴリズミックエージェントの目標と物体好みを推定し、POMDPsにおける後継表現を予測できる。
• ToMnetは異なる深層RLエージェント種（blind、sighted、sighted with memory）を区別してモデル化し、これらエージェントの抽象的埋め込みを形成できる。
• 訓練にボトルネック（Deep Variational Information Bottleneck）を用いる訓練は、エージェントの性格空間における変動要因の分離をToMnetに助ける。
• ToMnetはPOMDPsにおいてエージェントがfalse beliefsを持つことを暗黙的に学習し、行動だけから信念状態を予測できる。
• 本アーキテクチャはオンラインでサンプル効率の高い推論をサポートし、観測可能性やポリシーアーキテクチャが異なる集団にも一般化できる。