[论文解读] Machine Theory of Mind

Neil C. Rabinowitz, Frank Perbet+4 more|arXiv (Cornell University)|Feb 21, 2018

Evolutionary Game Theory and Cooperation参考文献 55被引用 69

一句话总结

本文提出了 ToMnet，一种元学习神经网络，能够基于观测到的行为建立代理模型，以预测未来动作和潜在状态，在网格世界的 POMDPs 中对多样化的代理群体执行少样本推断，并通过经典的 Theory of Mind 任务。

ABSTRACT

Theory of mind (ToM; Premack & Woodruff, 1978) broadly refers to humans' ability to represent the mental states of others, including their desires, beliefs, and intentions. We propose to train a machine to build such models too. We design a Theory of Mind neural network -- a ToMnet -- which uses meta-learning to build models of the agents it encounters, from observations of their behaviour alone. Through this process, it acquires a strong prior model for agents' behaviour, as well as the ability to bootstrap to richer predictions about agents' characteristics and mental states using only a small number of behavioural observations. We apply the ToMnet to agents behaving in simple gridworld environments, showing that it learns to model random, algorithmic, and deep reinforcement learning agents from varied populations, and that it passes classic ToM tasks such as the "Sally-Anne" test (Wimmer & Perner, 1983; Baron-Cohen et al., 1985) of recognising that others can hold false beliefs about the world. We argue that this system -- which autonomously learns how to model other agents in its world -- is an important step forward for developing multi-agent AI systems, for building intermediating technology for machine-human interaction, and for advancing the progress on interpretable AI.

研究动机与目标

• 在人工智能和人机交互中，激发对可解释且具前瞻性的其他代理模型的需求。
• 提出一个元学习观测器（ToMnet），从观测到的轨迹形成对代理行为的通用先验，以及对特定代理的后验。
• 证明 ToMnet 能跨群体对随机、算法和深度强化学习代理建模。
• 展示 ToMnet 能仅从行为推断目标、信念及与信念相关的状态（包括错误信念）。
• 突出在多智能体 AI、可解释性和人机界面中的潜在应用。

提出的方法

• 将 ToMnet 定义为三个模块：角色网络从过去轨迹构建角色嵌入；心理状态网络从当前轨迹推断当前代理的心理状态；预测网络在给定嵌入的条件下输出未来行为。
• 端到端训练 ToMnet，以对代理群体的推断进行摊销，使在数据有限的新代理上实现快速在线预测成为可能。
• 将代理和 POMDPs 表示为一组任务，其中奖励、折扣和观测是针对代理特定的，而动力学来自 POMDPs。
• 使用带有多种代理物种（随机、算法和深度强化学习）的模拟网格世界设置来评估 ToMnet 的不同能力。
• 引入一个受贝叶斯启发的解释，其中角色嵌入作代理行为的先验，而心理状态嵌入作潜在状态的后验。

实验结果

研究问题

• RQ1 神经观测者是否能学习一组代理总体的通用先验，并能在少量观测下快速适应个别代理？
• RQ2 ToMnet 是否能在线推断代理的目标导向行为，包括预测目标和后继表示？
• RQ3 ToMnet 是否能捕捉代理物种之间的抽象、可解释的差异，包括在 POMDPs 中的错误信念？
• RQ4 在代理嵌入上引入瓶颈如何影响变量因子的解耦和预测质量？
• RQ5 在网格世界环境中，ToMnet 在随机、算法和深度强化学习代理群体中的能力与局限性？

主要发现

• ToMnet 在简单的随机代理上近似贝叶斯式的分层推断。
• ToMnet 能推断算法代理的目标和对象偏好，并在 POMDPs 中预测后继表示。
• ToMnet 能区分并建模不同的深度强化学习代理物种（盲型、有视线型、以及带记忆的有视线型），并能形成这些代理的抽象嵌入。
• 带瓶颈的训练（Deep Variational Information Bottleneck）有助于 ToMnet 在代理性格空间中解耦变因。
• ToMnet 能隐式地学习代理在 POMDPs 中持有错误信念，并且仅从行为就能预测信念状态。
• 该架构支持在线、样本高效的推断，并且能够在观测性和策略架构各异的群体间泛化。