[论文解读] Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations

Finale Doshi‐Velez, George Konidaris|arXiv (Cornell University)|Aug 15, 2013

Gaussian Processes and Bayesian Inference参考文献 24被引用 28

一句话总结

本文提出了隐参数马尔可夫决策过程（HiP-MDP），这是一种半参数贝叶斯框架，通过低维潜在参数对相关控制任务族进行建模。利用印度餐厅过程（IBP）识别相关潜在因素，并采用高斯过程建模动态特性，该方法可在极少数据条件下快速适应新任务实例，在仅经历5个回合后即在秋千杆（acrobot）任务中达到近似最优性能，显著快于标准模型。

ABSTRACT

Control applications often feature tasks with similar, but not identical, dynamics. We introduce the Hidden Parameter Markov Decision Process (HiP-MDP), a framework that parametrizes a family of related dynamical systems with a low-dimensional set of latent factors, and introduce a semiparametric regression approach for learning its structure from data. In the control setting, we show that a learned HiP-MDP rapidly identifies the dynamics of a new task instance, allowing an agent to flexibly adapt to task variations.

研究动机与目标

• 为高效适应具有相似但不完全相同的动态特性的相关控制任务的新实例提供解决方案。
• 通过低维共享潜在参数空间，对动力系统中实例间的变化进行建模。
• 通过利用相关领域中的先验经验，实现新任务实例的快速策略学习。
• 开发一种非参数化、数据驱动的方法，无需预先知晓系统运动学或潜在参数的数量。
• 为具有结构化变化的控制应用中的迁移学习提供可扩展且灵活的框架。

提出的方法

• 使用印度餐厅过程（IBP）作为非参数先验，识别在相关任务间预测转移动态时相关的潜在参数。
• 采用高斯过程（GPs）对潜在参数与系统动态之间的函数关系进行建模，实现在连续参数空间上的非参数回归。
• 应用半参数回归方法，从多个任务实例的观测数据中联合学习GP模型的基函数与权重。
• 利用来自多个相关任务实例的批量数据预先学习共享基函数，随后用于对新实例的动态进行快速推断。
• 通过在潜在参数上的信念更新机制实现快速适应，使智能体能够基于部分观测进行规划或策略合成。
• 使用变分近似进行推断，以处理完整贝叶斯模型的计算复杂性。

实验结果

研究问题

• RQ1 如何使控制智能体高效适应具有相似但不完全相同的动态特性的任务族的新实例？
• RQ2 何种潜在参数化方式可在无需显式知晓系统方程的情况下，实现对相关控制任务的泛化？
• RQ3 非参数贝叶斯模型能否仅从观测数据中发现一类MDP中变化结构的相关性？
• RQ4 与标准强化学习（RL）和贝叶斯强化学习（Bayesian RL）相比，该方法在新任务实例上的样本效率如何？
• RQ5 共享的、低维的动力学表征在加速新但相关环境中的学习方面能发挥多大作用？

主要发现

• IBP-GP模型在仅与新任务实例交互5个回合后，即在秋千杆（acrobot）任务中达到近似最优性能。
• 标准模型约需15个回合才能达到相同性能水平，表明样本效率有显著提升。
• 该方法即使在未知参数数量和函数形式的情况下，仍能成功通过IBP先验识别出相关潜在参数。
• 通过在任务实例间共享基函数，实现了快速推断与快速适应，减少了对完整重训练的需求。
• 该模型在多种任务变化中表现出稳健性能，包括质量与长度等系统参数的变化。
• 该方法在学习速度与最终性能方面均优于基线方法，尤其在早期交互阶段表现更优。