[论文解读] Beyond the One Step Greedy Approach in Reinforcement Learning

Yonathan Efroni, Gal Dalal+2 more|arXiv (Cornell University)|Feb 10, 2018

Reinforcement Learning in Robotics参考文献 26被引用 12

一句话总结

本文为强化学习中的多步贪婪策略改进提出了一套严格的理论框架，引入了 $h$-PI 和 $\kappa$-PI 算法，将传统的单步策略迭代推广至多步情形。该文证明了算法收敛至最优策略，并表明近期表现优异的算法（如 Alpha-Go 和 PPO）均可纳入此统一视角，为设计具备更高样本效率和性能的新强化学习算法提供了理论依据，通过在策略改进中可控地增加前瞻深度实现。

ABSTRACT

The famous Policy Iteration algorithm alternates between policy improvement and policy evaluation. Implementations of this algorithm with several variants of the latter evaluation stage, e.g, $n$-step and trace-based returns, have been analyzed in previous works. However, the case of multiple-step lookahead policy improvement, despite the recent increase in empirical evidence of its strength, has to our knowledge not been carefully analyzed yet. In this work, we introduce the first such analysis. Namely, we formulate variants of multiple-step policy improvement, derive new algorithms using these definitions and prove their convergence. Moreover, we show that recent prominent Reinforcement Learning algorithms are, in fact, instances of our framework. We thus shed light on their empirical success and give a recipe for deriving new algorithms for future study.

研究动机与目标

• 为解决尽管有强有力的实证证据表明其优越性，但多步贪婪策略改进缺乏理论分析的问题。
• 形式化并分析在策略改进过程中前瞻 $h$ 步的 $h$-贪婪策略。
• 引入一个连续参数 $\kappa \in [0,1]$，在单步与无限时域贪婪改进之间实现插值，从而在前瞻深度上实现平滑权衡。
• 将近期强化学习中的实证成功（如 Alpha-Go 中的蒙特卡洛树搜索和 PPO）统一于单一理论框架之下。
• 提供一种推导新强化学习算法的方案，确保其收敛性，通过控制策略改进的深度。

提出的方法

• 将 $h$-贪婪策略定义为基于 $h$ 步前瞻价值估计选择动作的策略，推广标准的单步贪婪策略。
• 提出 $h$-PI 算法，该算法在 $h$ 步策略改进与策略评估之间交替进行，并证明其收敛至最优策略。
• 通过一种新型由 $\kappa$ 控制的最优贝尔曼算子引入 $\kappa$-贪婪策略，其中 $\kappa=0$ 恢复单步贪婪，$\kappa=1$ 得到最优策略。
• 证明计算 $\kappa$-贪婪策略等价于求解一个代理的 $\kappa\gamma$-折扣静态 MDP，从而实现高效计算。
• 引入 $\kappa\lambda$-PI 算法，结合基于 $\kappa$ 的改进与 $\lambda$-松弛的评估，明确区分 $\kappa$（改进深度）与 $\lambda$（评估深度）的作用。
• 利用压缩映射与算子分析，为所有提出的算法建立理论收敛保证，包括近似误差和策略价值衰减的界。

实验结果

研究问题

• RQ1 多步贪婪策略改进能否被严格分析并证明收敛至最优策略？
• RQ2 如何以理论合理的方式使用连续参数 $\kappa$ 在单步与无限时域贪婪改进之间实现插值？
• RQ3 近期高性能强化学习算法（如 Alpha-Go 和 PPO）在多大程度上依赖于所提出的 $\kappa$-贪婪框架所捕捉的原则？
• RQ4 在策略迭代中，$\kappa$（改进深度）与 $\lambda$（评估深度）之间存在何种理论区别？
• RQ5 所提出的框架能否用于推导出具备更高样本效率且理论保证收敛的新强化学习算法？

主要发现

• 证明了使用 $h$ 步贪婪策略改进的 $h$-PI 算法，对任意有限 $h \geq 1$ 均收敛至最优策略。
• $\kappa$-贪婪策略被证明等价于求解一个 $\kappa\gamma$-折扣 MDP，可通过标准值迭代高效计算。
• $\kappa$-PI 算法收敛至最优策略，其中 $\kappa=0$ 恢复标准单步贪婪，$\kappa=1$ 得到最优策略。
• $\kappa\lambda$-PI 算法结合了基于 $\kappa$ 的改进与 $\lambda$-松弛的评估，清晰地分离了改进与评估深度的角色。
• 实验结果表明，在基本规划任务上，非平凡的 $\kappa$ 和 $h$ 选择可带来优于标准单步方法的性能。
• 该理论框架通过表明 Alpha-Go 和 PPO 等算法在策略改进中隐式使用多步前瞻，统一了强化学习中多样化的实证成功。