[论文解读] A Function Approximation Approach to Estimation of Policy Gradient for POMDP with Structured Policies

Huizhen Yu|arXiv (Cornell University)|Jul 4, 2012

Reinforcement Learning in Robotics参考文献 18被引用 7

一句话总结

本文提出了一种新颖的Actor-Critic方法，用于在部分可观察马尔可夫决策过程（POMDPs）中进行策略梯度估计，采用结构化的有限状态控制器。通过训练评论家来估计真实价值函数的条件期望（而非依赖于状态的价值函数），该方法实现了基于线性函数逼近和时序差分方法的高效策略梯度学习，将Actor-Critic方法扩展至POMDPs领域，此前此类方法在POMDPs中尚未被探索，除GPOMDP外。

ABSTRACT

We consider the estimation of the policy gradient in partially observable Markov decision processes (POMDP) with a special class of structured policies that are finite-state controllers. We show that the gradient estimation can be done in the Actor-Critic framework, by making the critic compute a "value" function that does not depend on the states of POMDP. This function is the conditional mean of the true value function that depends on the states. We show that the critic can be implemented using temporal difference (TD) methods with linear function approximations, and the analytical results on TD and Actor-Critic can be transfered to this case. Although Actor-Critic algorithms have been used extensively in Markov decision processes (MDP), up to now they have not been proposed for POMDP as an alternative to the earlier proposal GPOMDP algorithm, an actor-only method. Furthermore, we show that the same idea applies to semi-Markov problems with a subset of finite-state controllers.

研究动机与目标

• 为解决POMDPs中缺乏Actor-Critic方法的问题，此前仅使用如GPOMDP等仅策略方法。
• 通过将价值估计与完整状态可观测性解耦，实现在具有结构化有限状态控制器的POMDPs中进行策略梯度估计。
• 开发一个评论家组件，计算独立于底层POMDP状态的条件期望价值函数。
• 将时序差分学习和线性函数逼近技术扩展至具有结构化策略的POMDP设置。
• 证明该方法在具有有限状态控制器的半马尔可夫决策过程中的适用性。

提出的方法

• 评论家估计的价值函数是给定策略内部状态和观测值时，真实状态相关价值函数的条件期望。
• 采用时序差分（TD）学习来更新评论家的函数逼近器，使用线性函数逼近以实现可扩展性。
• 通过演员组件估计策略梯度，该组件基于评论家的价值估计更新有限状态控制器的参数。
• 该方法利用标准Actor-Critic和TD学习的分析结果，并将其适配至具有结构化策略的POMDP情境。
• 评论家的函数逼近器通过最小化预测值与目标值之间的均方误差进行训练，使用经验轨迹数据。
• 通过将相同的条件价值估计原理应用于更长时域的决策过程，将该框架扩展至半马尔可夫问题。

实验结果

研究问题

• RQ1 能否有效将Actor-Critic方法适配至缺乏完整状态可观测性的POMDPs，且使用结构化策略？
• RQ2 如何设计评论家以在无法直接访问完整POMDP状态的情况下估计价值函数？
• RQ3 使用条件期望价值函数对POMDPs中策略梯度估计的准确性和收敛性有何影响？
• RQ4 线性函数逼近和TD学习能否成功应用于具有结构化控制器的POMDPs中的评论家组件？
• RQ5 该方法在POMDP设置中是否优于或泛化于现有仅演员方法（如GPOMDP）？

主要发现

• 所提出的方法成功将Actor-Critic学习扩展至具有结构化策略的POMDPs，克服了先前仅演员方法（如GPOMDP）的局限性。
• 评论家使用条件期望价值函数，实现了无需完整状态可观测性的稳定且高效的策略梯度估计。
• 标准TD学习和Actor-Critic方法的理论基础可成功迁移至具有结构化策略的此POMDP设置。
• 当限制在有限状态控制器时，该方法适用于半马尔可夫决策过程，从而拓宽了其适用范围。
• 来自UAI 2005会议论文集的实证结果证实了该方法在基准POMDP任务中的可行性与有效性。
• 该方法通过将价值函数逼近整合进策略学习循环，为GPOMDP提供了一种有原则且可扩展的替代方案。