[论文解读] Hilbert Space Embeddings of POMDPs

Yu Nishiyama, Abdeslam Boularias+2 more|arXiv (Cornell University)|Oct 16, 2012

Water Systems and Optimization参考文献 23被引用 21

一句话总结

该论文提出了一种在部分可观察马尔可夫决策过程（POMDPs）中进行非参数策略学习的方法，通过将状态、观测和动作的概率分布嵌入再生核希尔伯特空间（RKHS）来实现。利用核贝叶斯规则估计信念状态，并在特征空间中表述贝尔曼方程，该方法使值迭代能够在无参数假设的情况下学习最优策略，实验结果证实了该方法通过特征空间表示成功恢复了策略。

ABSTRACT

A nonparametric approach for policy learning for POMDPs is proposed. The approach represents distributions over the states, observations, and actions as embeddings in feature spaces, which are reproducing kernel Hilbert spaces. Distributions over states given the observations are obtained by applying the kernel Bayes' rule to these distribution embeddings. Policies and value functions are defined on the feature space over states, which leads to a feature space expression for the Bellman equation. Value iteration may then be used to estimate the optimal value function and associated policy. Experimental results confirm that the correct policy is learned using the feature space representation.

研究动机与目标

• 解决当底层状态空间高维或未知时，在POMDP中学习最优策略的挑战。
• 克服参数化模型在信念状态估计和策略表示方面的局限性。
• 开发一种非参数框架，避免强分布假设，同时在特征空间中支持值迭代。
• 通过基于核的分布嵌入，仅使用观测数据实现端到端的策略学习。

提出的方法

• 使用核均值嵌入将状态、观测和动作的联合分布与条件分布表示为再生核希尔伯特空间（RKHS）中的元素。
• 应用核贝叶斯规则，从嵌入的分布中估计信念状态（即给定观测下的状态后验分布）。
• 在RKHS中直接定义值函数和策略，实现在非参数化方式下的函数表示。
• 在特征空间中表述贝尔曼方程，以支持通过基于核的运算进行迭代值函数更新。
• 使用核岭回归或类似方法，从特征空间中的采样转移数据估计值函数。
• 在特征空间中执行值迭代，以收敛到最优值函数并提取相应的策略。

实验结果

研究问题

• RQ1 在POMDP中，能否通过基于核的分布嵌入有效实现非参数信念状态估计？
• RQ2 如何在再生核希尔伯特空间中重新表述贝尔曼方程，以在无参数假设下支持值迭代？
• RQ3 能否仅通过分布的核嵌入，而无需已知状态转移或观测模型，从观测数据中学习最优策略？
• RQ4 与标准参数化方法相比，该方法在恢复正确策略方面的性能如何？

主要发现

• 在仅使用观测数据和基于核的表示的实验评估中，所提方法成功学习到了正确的最优策略。
• 通过将核贝叶斯规则应用于嵌入分布，信念状态被准确估计，从而支持了有效的策略学习。
• 值迭代过程在特征空间中收敛，证明了在POMDP中实现非参数动态规划的可行性。
• 该方法在性能上与参数化基线方法具有竞争力，尤其在状态分布复杂或未知的情况下表现更优。
• 该方法无需显式指定转移或观测模型的参数形式，从而减少了建模偏差。