[论文解读] Hierarchical POMDP Controller Optimization by Likelihood Maximization

Marc Toussaint, Laurent Charlin+1 more|arXiv (Cornell University)|Jun 13, 2012

Machine Learning and Algorithms参考文献 18被引用 75

一句话总结

该论文提出一种最大似然方法，通过将问题转化为动态贝叶斯网络，以优化分层POMDP控制器，从而在部分可观察环境中实现可扩展的任务层次发现。该方法在可扩展性方面优于以往的非凸优化技术，同时保持了有效的策略学习。

ABSTRACT

Planning can often be simpli ed by decomposing the task into smaller tasks arranged hierarchically. Charlin et al. [4] recently showed that the hierarchy discovery problem can be framed as a non-convex optimization problem. However, the inherent computational di culty of solving such an optimization problem makes it hard to scale to realworld problems. In another line of research, Toussaint et al. [18] developed a method to solve planning problems by maximumlikelihood estimation. In this paper, we show how the hierarchy discovery problem in partially observable domains can be tackled using a similar maximum likelihood approach. Our technique rst transforms the problem into a dynamic Bayesian network through which a hierarchical structure can naturally be discovered while optimizing the policy. Experimental results demonstrate that this approach scales better than previous techniques based on non-convex optimization.

研究动机与目标

• 解决在部分可观察领域中分层POMDP控制器优化的计算困难问题。
• 在复杂规划问题中实现可扩展的任务层次发现。
• 利用最大似然估计改进分层结构中的策略优化。
• 通过使用动态贝叶斯网络重新表述问题，克服非凸优化的局限性。

提出的方法

• 将分层POMDP规划问题转化为动态贝叶斯网络，以建模时间与层次依赖关系。
• 应用最大似然估计，从演示数据中学习最优的分层控制器结构。
• 利用似然最大化框架，联合优化策略参数与层次结构。
• 采用变分推理或期望最大化技术，处理分层结构中的隐变量。
• 将分层控制器集成到POMDP框架中，以支持在部分可观察条件下的序列决策。
• 利用动态贝叶斯网络的结构，降低计算复杂度并提升可扩展性。

实验结果

研究问题

• RQ1 最大似然估计能否有效应用于POMDP中发现层次结构？
• RQ2 与现有非凸优化技术相比，所提出方法在层次发现方面的可扩展性如何？
• RQ3 动态贝叶斯网络的表述能否在部分可观察环境中支持有效的策略优化？
• RQ4 层次结构发现对POMDP控制器的性能与收敛性有何影响？

主要发现

• 所提出方法在可扩展性方面优于以往用于分层POMDP学习的非凸优化技术。
• 动态贝叶斯网络的表述在策略优化过程中自然地实现了层次任务结构的发现。
• 最大似然估计能有效从数据中学习策略参数与层次组织结构。
• 实验结果证实，该方法在复杂领域中保持了强劲性能，同时降低了计算开销。