[论文解读] Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes

Guido Montúfar, Keyan Ghazi-Zahedi+1 more|arXiv (Cornell University)|Mar 24, 2015

Reinforcement Learning in Robotics参考文献 22被引用 8

一句话总结

本文提出了一种用于优化部分可观察马尔可夫决策过程（POMDP）中无记忆随机策略的几何框架，证明了每个POMDP都存在一种最优策略，其随机性受到感知混淆的限制，而非奖励结构的限制。通过将策略建模为受限线性优化问题中的低维流形，该方法实现了更快、更稳定的策略梯度学习，并具有最优性保证。

ABSTRACT

It is well known that for any finite state Markov decision process (MDP) there is a memoryless deterministic policy that maximizes the expected reward. For partially observable Markov decision processes (POMDPs), optimal memoryless policies are generally stochastic. We study the expected reward optimization problem over the set of memoryless stochastic policies. We formulate this as a constrained linear optimization problem and develop a corresponding geometric framework. We show that any POMDP has an optimal memoryless policy of limited stochasticity, which allows us to reduce the dimensionality of the search space. Experiments demonstrate that this approach enables better and faster convergence of the policy gradient on the evaluated systems.

研究动机与目标

• 解决POMDP中高维、随机策略空间的挑战，其中一般最优策略需要记忆，计算上不可行。
• 开发一种几何框架，用于分析在无记忆随机策略下世界状态与动作的平稳联合分布集合。
• 识别POMDP策略优化中的结构性约束，实现维度约简，同时保留最优性保证。
• 设计低维、可微的策略模型，确保其包含最优平稳策略，从而提升训练效率与收敛性。
• 通过实证结果表明，低复杂度模型在学习速度与性能方面优于更高维或过于简单的模型。

提出的方法

• 将期望平均奖励最大化表述为关于世界状态与动作平稳联合分布的受限线性优化问题。
• 将可行策略空间建模为由部分可观察性与平稳性约束导出的凸多面体的并集。
• 利用可行集的几何分解，证明存在随机性受控的最优策略，其随机性由感知状态中模糊世界状态的数量量化。
• 使用k重交互指数族或受限玻尔兹曼机构造低维策略模型，以参数化具有受控随机性的策略。
• 应用GPOMDP算法，结合随机梯度上升训练这些模型，采用固定学习率和时间窗奖励估计。
• 通过仅选择相关充分统计量（如传感器状态与动作的组合）来减少参数空间，从而实现高效采样与优化。

实验结果

研究问题

• RQ1 在POMDP中，最优无记忆策略所需的最小随机性水平是多少？该随机性是否可独立于奖励函数进行有界？
• RQ2 POMDP中平稳联合分布的可行集如何进行几何分解，以揭示最优策略空间的结构？
• RQ3 能否构建出保证包含最优平稳策略的低维策略模型？这如何影响学习性能？
• RQ4 在保持最优性的同时，降低策略模型复杂度是否能带来更快的收敛速度与更强的鲁棒性？
• RQ5 在计算资源有限的POMDP策略优化中，模型表达能力与训练稳定性之间存在何种权衡？

主要发现

• 每个POMDP都存在一种最优无记忆随机策略，其随机性受模糊世界状态的传感器状态数量限制，与奖励函数无关。
• POMDP中平稳联合分布的可行集可被分解为若干凸部分，最优策略位于这些部分的极值点上，从而支持几何分析。
• 在迷宫实验中，k=3的k重交互模型表现最佳，优于更简单（k=1,2）和更复杂（k=4,5）的模型，体现在学习速度与最终奖励上。
• k=3的模型仅含23个参数，却实现了接近最优的性能，表明能够表达最优策略的最简模型学习最快，且对梯度噪声不敏感。
• 通过随机性约束降低策略模型维度，可实现更快收敛与更强鲁棒性，同时不损失最优性。
• 使用受限玻尔兹曼机与k重交互模型，实现了对包含最优策略的低维策略流形的高效采样与参数化。