[论文解读] Learning from Humans as an I-POMDP

Mark P. Woodward, Robert J. Wood|arXiv (Cornell University)|Apr 1, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用 8

一句话总结

本文提出将人机交互教学建模为交互式部分可观察马尔可夫决策过程（I-POMDP），其中智能体将其人类教师视为信念空间中的理性智能体，将教师的信号与智能体的可学习编程参数表示为随机变量。该方法支持基于期望效用最大化的系统性动作选择与信念更新，能够处理包括手势、语言和奖励在内的多样化教学信号，支持复杂且自适应的人机交互。

ABSTRACT

The interactive partially observable Markov decision process (I-POMDP) is a recently developed framework which extends the POMDP to the multi-agent setting by including agent models in the state space. This paper argues for formulating the problem of an agent learning interactively from a human teacher as an I-POMDP, where the agent \emph{programming} to be learned is captured by random variables in the agent's state space, all \emph{signals} from the human teacher are treated as observed random variables, and the human teacher, modeled as a distinct agent, is explicitly represented in the agent's state space. The main benefits of this approach are: i. a principled action selection mechanism, ii. a principled belief update mechanism, iii. support for the most common teacher \emph{signals}, and iv. the anticipated production of complex beneficial interactions. The proposed formulation, its benefits, and several open questions are presented.

研究动机与目标

• 开发一个系统性框架，使机器人能够在交互式、部分可观察的环境中从人类教师处学习。
• 在智能体的状态空间内将人类教师建模为理性智能体，支持基于信念的教师意图推理。
• 通过单一概率决策机制统一解释多样化教学信号（如手势、语言、奖励、建模）。
• 通过在智能体信念状态中显式表示教师行为与学习目标，支持复杂且自适应的交互。
• 在教师意图与编程目标不确定的情况下，基于期望效用最大化实现动作选择与信念更新。

提出的方法

• 将从人类学习的问题形式化为 I-POMDP，扩展 POMDP 框架，将人类教师模型纳入智能体的状态空间。
• 在智能体的信念状态中将可学习的编程参数表示为随机变量，支持对这些参数的概率推理。
• 将所有人类信号（手势、语言、奖励、身体姿态）建模为可观测的随机变量，通过贝叶斯推理更新智能体的信念。
• 使用递归贝叶斯信念更新（公式 1）来维护并优化对世界状态与教师模型的信念。
• 应用期望效用最大化（公式 2–5）进行动作选择，其中效用定义为最大化信念确定性（例如，最小化熵）。
• 支持多层信念嵌套：智能体维护对教师信念的信念（即教师对智能体的信念），支持多智能体环境中的递归推理。

实验结果

研究问题

• RQ1 机器人如何在一个统一的决策框架中系统性地解释多样化的人类教学信号（如手势、自然语言和奖励）？
• RQ2 如何最优地表示并更新对人类教师意图及智能体自身可学习编程参数的信念？
• RQ3 与被动观察或模仿相比，显式将教师建模为理性智能体会如何提升学习效率与交互质量？
• RQ4 在实时学习场景中，信念表示精度、模型嵌套深度与计算成本之间存在何种权衡？
• RQ5 基于先前学习的启发式方法在多大程度上可提升后续人机教学交互的效率？

主要发现

• I-POMDP 建模通过期望效用最大化实现系统性动作选择，即使在对教师意图与智能体自身编程存在不确定性时亦成立。
• 信念更新通过递归贝叶斯推理系统性地执行，使智能体能够随时间逐步优化对教师模型与目标编程的理解。
• 该框架自然地将所有常见教学信号（手势、语言、奖励、建模）统一于单一概率解释机制之下。
• 通过将教师建模为理性智能体，该方法支持复杂且自适应的交互，实现对教师行为与意图的递归推理。
• 该框架统一支持从示范学习、强化学习与直接建模，减少对信号特异性处理模块的依赖。
• 使用负熵作为效用函数能有效驱动智能体减少对所学编程的不确定性，从而在初步实验中实现更快收敛。