[论文解读] A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes

Nevin L. Zhang, Stephen S. Lee+1 more|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 10被引用 11

一句话总结

本文提出一种技术，通过将马尔可夫决策过程（MDPs）中使用的改进策略迭代方法适配到部分可观察马尔可夫决策过程（POMDPs）中，加速值迭代过程，实现更快收敛，且无需修改现有算法。当应用于增量剪枝（incremental pruning）时，该方法可实现数个数量级的速度提升，显著提高POMDP规划的计算效率。

ABSTRACT

We present a technique for speeding up the convergence of value iteration for partially observable Markov decisions processes (POMDPs). The underlying idea is similar to that behind modified policy iteration for fully observable Markov decision processes (MDPs). The technique can be easily incorporated into any existing POMDP value iteration algorithms. Experiments have been conducted on several test problems with one POMDP value iteration algorithm called incremental pruning. We find that the technique can make incremental pruning run several orders of magnitude faster.

研究动机与目标

• 为解决POMDP中值迭代收敛缓慢的问题，该问题阻碍了其实际应用。
• 开发一种与现有POMDP值迭代算法兼容的通用加速技术。
• 在不牺牲POMDP规划解质量的前提下，提高计算效率。
• 实现增量剪枝（一种广泛使用的POMDP算法）的更快收敛。

提出的方法

• 该方法将MDPs中改进策略迭代的思想适配到POMDPs中，通过有限次值迭代步骤后进行策略改进。
• 提出一种混合方法，交替进行值更新和策略评估阶段，从而减少完整值迭代循环的次数。
• 该技术设计为即插即用，对现有POMDP求解器（如增量剪枝）仅需极少修改。
• 利用POMDP的结构，在迭代过程中高效地保持值函数近似。
• 该算法在每个策略改进步骤中使用固定次数的值迭代扫描，以平衡准确性和速度。

实验结果

研究问题

• RQ1 改进策略迭代的原理能否有效适配到POMDP的值迭代加速中？
• RQ2 与标准方法相比，采用该混合方法后，POMDP值迭代能快多少？
• RQ3 在加速收敛的同时，该方法在多大程度上保持了解的质量？
• RQ4 该技术能否无缝集成到现有POMDP算法（如增量剪枝）中？

主要发现

• 所提出的方法显著加速了POMDP中的值迭代，尤其在应用于增量剪枝时效果显著。
• 实验表明，该技术可使增量剪枝的运行速度提升数个数量级。
• 加速过程未影响所生成策略的质量。
• 该方法具有通用性，可轻松集成到任何现有POMDP值迭代算法中。