[论文解读] Approximate Policy Iteration Schemes: A Comparison

Bruno Scherrer|arXiv (Cornell University)|May 12, 2014

Reinforcement Learning in Robotics参考文献 15被引用 36

一句话总结

本文在无限时域折扣的马尔可夫决策过程（MDP）中，比较了四种近似策略迭代方法——近似策略迭代（API）、保守策略迭代（CPI）、基于动态规划的策略搜索（PSDP∞）以及非时齐策略迭代（NSPI(m)）。研究建立了涉及集中常数的性能边界，表明PSDP∞在迭代次数和内存效率方面达到类似API的水平，同时实现类似CPI的性能保证；而NSPI(m)则在内存使用与性能之间提供了可调的权衡。

ABSTRACT

We consider the infinite-horizon discounted optimal control problem formalized by Markov Decision Processes. We focus on several approximate variations of the Policy Iteration algorithm: Approximate Policy Iteration, Conservative Policy Iteration (CPI), a natural adaptation of the Policy Search by Dynamic Programming algorithm to the infinite-horizon case (PSDP$_\infty$), and the recently proposed Non-Stationary Policy iteration (NSPI(m)). For all algorithms, we describe performance bounds, and make a comparison by paying a particular attention to the concentrability constants involved, the number of iterations and the memory required. Our analysis highlights the following points: 1) The performance guarantee of CPI can be arbitrarily better than that of API/API($α$), but this comes at the cost of a relative---exponential in $\frac{1}ε$---increase of the number of iterations. 2) PSDP$_\infty$ enjoys the best of both worlds: its performance guarantee is similar to that of CPI, but within a number of iterations similar to that of API. 3) Contrary to API that requires a constant memory, the memory needed by CPI and PSDP$_\infty$ is proportional to their number of iterations, which may be problematic when the discount factor $γ$ is close to 1 or the approximation error $ε$ is close to $0$; we show that the NSPI(m) algorithm allows to make an overall trade-off between memory and performance. Simulations with these schemes confirm our analysis.

研究动机与目标

• 分析并比较无限时域MDP中关键近似策略迭代方法的性能保证、时间复杂度和内存需求。
• 评估集中常数如何影响近似策略迭代算法的收敛性和性能。
• 识别策略迭代变体中迭代次数、内存使用与近似误差之间的权衡关系。
• 通过基准MDP上的仿真验证理论发现。
• 提供一个统一的框架，以理解每种算法的优势与局限性。

提出的方法

• 论文利用每轮误差 $\epsilon$ 和由状态分布动态导出的集中常数，形式化了每种算法的性能边界。
• 定义了一个 $(\epsilon,\nu)$-近似贪婪算子 $\mathcal{G}_\epsilon$，用于在分布 $\nu$ 下近似贪婪策略选择。
• 针对每种算法，分析推导了子最优性差距 $\|v_* - v_{\pi_k}\|$ 的边界，其表达式涉及 $\epsilon$、集中常数和折扣因子 $\gamma$。
• 分析区分了集中常数 $C_{\pi_*}$、$C_{\pi_*}^{(1)}$、$C^{(1,0)}$、$C^{(2,m,m)}$ 及其层级关系。
• 提出NSPI(m)作为非时齐变体，通过使用过去策略的滑动窗口来减少内存使用，同时保持性能。
• 理论边界通过递归贝尔曼误差分解和对折扣状态访问分布的几何级数边界推导得出。

实验结果

研究问题

• RQ1 CPI与API的性能保证相比如何，特别是在集中常数和迭代次数方面？
• RQ2 PSDP∞是否能在类似API的迭代效率下实现CPI级别的性能保证，并实现更低的内存使用？
• RQ3 CPI与PSDP∞在内存需求与收敛速度之间的权衡是什么？NSPI(m)如何解决这一问题？
• RQ4 $C_{\pi_*}^{(1)}$、$C^{(1,0)}$ 和 $C^{(2,m,m)}$ 集中常数之间有何关系？它们对算法性能有何影响？
• RQ5 在高精度设置下，NSPI(m)是否提供了内存与性能之间的可行权衡？

主要发现

• CPI的性能保证可远优于API，但代价是相对于 $1/\epsilon$ 的迭代次数呈指数级增长。
• PSDP∞在迭代次数与API相近的前提下，实现了类似CPI的性能保证，因此在四类算法中收敛速度最快。
• CPI与PSDP∞的内存需求与迭代次数成正比，当 $\gamma \to 1$ 或 $\epsilon \to 0$ 时，这一特性会带来问题；而API则仅需常数内存。
• NSPI(m)通过限制存储的过去策略数量，实现了内存与性能之间的可调权衡，理论边界表明其子最优性差距保持在 $O(\epsilon)$ 内。
• 集中常数 $C_{\pi_*}^{(1)}$ 可能为无穷大，而 $C_{\pi_*}$ 仍为有限值，表明某些算法可能在其他算法收敛时仍无法收敛。
• 仿真结果证实，PSDP∞在收敛速度和最终性能方面均优于API与CPI，而NSPI(m)则有效平衡了内存使用与精度。