[论文解读] Experimental results : Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|May 7, 2017

Machine Learning and ELM参考文献 21被引用 4

一句话总结

本文提出 SM-UCRL，一种用于部分可观察马尔可夫决策过程（POMDP）的强化学习算法，利用谱方法估计环境参数，并采用乐观探索策略以最小化遗憾。该算法在最优无记忆策略方面实现了阶最优遗憾，且在部分可观察的网格世界环境中，其样本效率和长期奖励均优于 DQN。

ABSTRACT

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consistent learning of (passive) latent variable models such as hidden Markov models, POMDPs are more challenging since the learner interacts with the environment and possibly changes the future observations in the process. We devise a learning algorithm running through epochs, in each epoch we employ spectral techniques to learn the POMDP parameters from a trajectory generated by a fixed policy. At the end of the epoch, an optimization oracle returns the optimal memoryless planning policy which maximizes the expected reward based on the estimated POMDP model. We prove an order-optimal regret bound with respect to the optimal memoryless policy and efficient scaling with respect to the dimensionality of observation and action spaces.

研究动机与目标

• 为解决在部分可观察马尔可夫决策过程（POMDP）中强化学习的挑战，其中状态无法完全观测，且由于观测非马尔可夫性，标准 MDP 方法失效。
• 开发一种基于模型的强化学习算法，利用交互数据的矩张量谱分解，一致估计 POMDP 参数。
• 将谱参数估计与探索-利用策略相结合，实现有界遗憾，尤其针对最优无记忆策略。
• 通过实验验证在观测不具马尔可夫性时，该算法在性能上优于基于模型的深度 Q 学习（DQN）。
• 提供理论保证，包括使用谱方法在 POMDP 中学习的极小极大最优遗憾边界。

提出的方法

• 该算法以周期运行，先在固定策略下收集轨迹，再更新模型。
• 对经验矩张量（转移、观测和奖励）应用谱分解，以一致估计 POMDP 参数。
• 利用集中不等式在估计参数周围构建置信区间，以支持乐观规划。
• 通过优化预言机基于估计的 POMDP 模型和置信区间，计算最优无记忆策略，确保探索高回报区域。
• 探索策略受 MDP 中 UCRL 启发，平衡面对不确定性的乐观性与谱参数估计。
• 通过参数 X 调节策略选择中的随机性，确保充分探索。

实验结果

研究问题

• RQ1 谱方法能否有效适配于无直接状态观测的 POMDP 模型强化学习？
• RQ2 将谱参数估计与乐观探索策略结合，是否能在 POMDP 中实现可证明的有界遗憾？
• RQ3 在观测空间非马尔可夫性的部分可观察环境中，SM-UCRL 算法与深度 Q 学习（DQN）相比表现如何？
• RQ4 基于模型的方法结合谱学习，在 POMDP 中能否实现比无模型方法更快的收敛速度和更高的长期奖励？
• RQ5 该算法在 POMDP 中的遗憾是否相对于最优无记忆策略达到阶最优？

主要发现

• SM-UCRL 在 POMDP 中实现了相对于最优无记忆策略的阶最优遗憾，且在观测和动作空间维度上具有高效扩展性。
• 在单箱可观察环境中，SM-UCRL 收敛更快，并获得比 DQN 更高的长期平均奖励，后者常陷入局部极小值。
• 在具有 64 个观测的三箱可观察环境中，SM-UCRL 再次优于 DQN，即使 DQN 使用每层 30 个隐藏单元。
• SM-UCRL 即使在参数估计不够精确时，也能从训练早期生成合理且随机的策略，表现出对模型不确定性的鲁棒性。
• 该算法在移动方向（如左右、上下）之间保持平衡，避免撞墙并最大化奖励收集，表明探索有效。
• 性能提升归因于通过 POMDP 结构正确建模记忆，而 DQN 在观测上学习非马尔可夫的 Q 函数，导致泛化能力差。