[论文解读] Dynamic Policy Programming

Mohammad Gheshlaghi Azar, Vicenç Gómez+1 more|arXiv (Cornell University)|Apr 12, 2010

Reinforcement Learning in Robotics参考文献 22被引用 4

一句话总结

本文提出动态策略编程（DPP），一种用于无限时域马尔可夫决策过程的新颖策略迭代方法，通过在迭代过程中对近似误差进行平均，减少性能损失。与标准近似值迭代（AVI）和策略迭代（API）不同，DPP 以平均累积误差为基准来界定性能损失，从而在蒙特卡洛采样噪声下表现出更强的鲁棒性，并在所有测试环境中展现出更优的实证性能。

ABSTRACT

In this paper, we propose a novel policy iteration method, called dynamic policy programming (DPP), to estimate the optimal policy in the infinite-horizon Markov decision processes. We prove the finite-iteration and asymptotic l\infty-norm performance-loss bounds for DPP in the presence of approximation/estimation error. The bounds are expressed in terms of the l\infty-norm of the average accumulated error as opposed to the l\infty-norm of the error in the case of the standard approximate value iteration (AVI) and the approximate policy iteration (API). This suggests that DPP can achieve a better performance than AVI and API since it averages out the simulation noise caused by Monte-Carlo sampling throughout the learning process. We examine this theoretical results numerically by com- paring the performance of the approximate variants of DPP with existing reinforcement learning (RL) methods on different problem domains. Our results show that, in all cases, DPP-based algorithms outperform other RL methods by a wide margin.

研究动机与目标

• 开发一种策略迭代方法，以在估计误差存在的情况下减少近似动态规划中的性能损失。
• 解决AVI和API的局限性，即其依赖于每轮迭代误差的上确界，对高方差蒙特卡洛采样敏感。
• 证明在ℓ∞-范数下，有限次迭代与渐近性能损失界，其依赖于平均累积误差‖𝔼k‖/(k+1)，而非每轮迭代误差的上确界‖εk‖。
• 设计一种基于样本、收敛的强化学习算法（DPP-RL），兼容函数逼近与蒙特卡洛模拟。
• 通过实证验证，DPP方法在多个领域中均优于现有强化学习算法，尤其在高方差环境下表现更优。

提出的方法

• DPP 引入一种增量式策略更新机制，累积所有先前迭代的近似误差，而非仅最小化当前迭代的误差。
• 该方法使用软最大（softmax）算子来近似贝尔曼最优算子，从而实现可微且稳定的策略更新。
• 其性能损失界以平均累积误差的ℓ∞-范数‖𝔼k‖/(k+1) 表示，而非每轮迭代误差‖εk‖。
• 在估计误差有界的前提下，利用鞅差序列的强大数定律，证明了DPP-RL的收敛性。
• 该算法设计兼容函数逼近与蒙特卡洛采样，可应用于大规模或连续状态-动作空间。
• 证明了一个稳定性引理，表明在较弱假设下，迭代序列与估计误差保持一致有界，从而确保收敛。

实验结果

研究问题

• RQ1 能否设计一种策略迭代方法，使其性能损失界依赖于过去近似误差的平均值，而非最坏情况下的每轮误差？
• RQ2 在高方差蒙特卡洛采样环境下，通过在迭代间平均估计误差，是否能带来更好的鲁棒性与性能？
• RQ3 能否构建一种基于样本、兼容函数逼近的强化学习算法，在此类误差平均机制下仍保持理论收敛性？
• RQ4 在存在采样噪声的实际强化学习环境中，DPP的性能与标准AVI和API方法相比如何？
• RQ5 在蒙特卡洛估计产生的有界鞅差误差下，DPP-RL算法的渐近收敛性是否可保证？

主要发现

• DPP的渐近ℓ∞-范数性能损失界与平均累积误差‖𝔼k‖/(k+1) 成比例，而非与每轮迭代误差的上确界成比例，从而在采样方差下表现出更强的鲁棒性。
• 理论证明表明，当估计误差具有高方差时，DPP的界比AVI和API更紧，这是由于在迭代过程中实现了误差平均。
• DPP-RL（DPP的基于样本的变体）在有界鞅差误差下，几乎必然收敛至最优策略。
• 数值实验表明，DPP方法在多个领域（包括最优更换问题与随机网格世界）中，始终优于AVI、API及其他强化学习基线方法。
• 实证结果证实，DPP在高方差环境中显著降低了性能损失，而传统方法在此类环境下性能明显下降。
• 理论与实证结果共同表明，DPP为降低近似动态规划中蒙特卡洛采样噪声的影响提供了一种系统性方法。