[论文解读] Finite-Sample Analysis of Off-Policy Natural Actor-Critic Algorithm

Sajad Khodadadian, Zaiwei Chen+1 more|arXiv (Cornell University)|Feb 18, 2021

Reinforcement Learning in Robotics参考文献 71被引用 7

一句话总结

该论文提出了一种基于重要性采样和新型 $Q$-trace 算法的有限样本收敛性分析，用于离策略自然演员-评论家（NAC）算法，以控制偏差和方差。该工作建立了首个已知的离策略 NAC 的样本复杂度界 $\mathcal{O}(\epsilon^{-3}\log^2(1/\epsilon))$，在假设最少的前提下，优于现有的同策略与离策略基线方法。

ABSTRACT

In this paper, we provide finite-sample convergence guarantees for an off-policy variant of the natural actor-critic (NAC) algorithm based on Importance Sampling. In particular, we show that the algorithm converges to a global optimal policy with a sample complexity of $\mathcal{O}(ε^{-3}\log^2(1/ε))$ under an appropriate choice of stepsizes. In order to overcome the issue of large variance due to Importance Sampling, we propose the $Q$-trace algorithm for the critic, which is inspired by the V-trace algorithm \cite{espeholt2018impala}. This enables us to explicitly control the bias and variance, and characterize the trade-off between them. As an advantage of off-policy sampling, a major feature of our result is that we do not need any additional assumptions, beyond the ergodicity of the Markov chain induced by the behavior policy.

研究动机与目标

• 为自然演员-评论家（NAC）算法的离策略变体提供有限样本收敛性保证。
• 通过引入受控截断机制，解决由于重要性采样导致的离策略学习中高方差问题。
• 在仅使用单条轨迹数据的前提下，建立首个已知的离策略 NAC 算法的有限样本收敛界。
• 证明离策略 NAC 可实现优于同策略对应方法的理论样本复杂度。
• 表明该算法在仅假设行为策略具有遍历性的情况下，可收敛至全局最优策略，无需额外假设。

提出的方法

• 提出一种名为 $Q$-trace 的新型离策略时序差分学习算法，受 V-trace 启发，用于以受控偏差和方差估计 $Q$-函数。
• 使用截断的重要性采样比率，限制离策略更新的方差，同时显式刻画偏差与方差之间的权衡。
• 将 $Q$-trace 集成到 NAC 框架的评论家组件中，实现稳定的离策略策略评估。
• 在演员组件中采用自然策略梯度更新，通过费舍尔信息矩阵进行预条件处理，以加快收敛速度。
• 使用单条轨迹数据进行收敛性分析，避免对多组独立样本或额外探索假设的需求。
• 通过分析在适当步长调度下评论家和演员更新的收敛速率，推导出样本复杂度界。

实验结果

研究问题

• RQ1 我们能否在假设最少的前提下，为离策略 NAC 算法建立有限样本收敛性保证？
• RQ2 如何通过截断重要性采样控制离策略 $Q$-函数估计中的偏差-方差权衡？
• RQ3 与同策略变体相比，离策略 NAC 的最优样本复杂度是多少？
• RQ4 仅使用单条轨迹的离策略学习是否能在无额外假设下实现收敛至全局最优？
• RQ5 截断水平的选择如何影响离策略 NAC 算法的收敛行为与稳定性？

主要发现

• 所提出的离策略 NAC 算法在寻找 $\epsilon$-最优策略时，实现了 $\mathcal{O}(\epsilon^{-3}\log^2(1/\epsilon))$ 的样本复杂度。
• $Q$-trace 算法通过截断重要性采样比率，实现了对离策略 $Q$-函数估计中偏差-方差权衡的显式控制。
• 该算法在仅假设行为策略具有遍历性的前提下，可收敛至全局最优策略，无需额外条件。
• 该离策略 NAC 算法的理论样本复杂度优于目前已知的同策略 NAC 算法最优界，后者分别为 $\tilde{\mathcal{O}}(\epsilon^{-14})$ 和 $\tilde{\mathcal{O}}(\epsilon^{-6})$。
• 实验结果表明，截断水平 $\bar{\rho}$ 和 $\bar{c}$ 的选择显著影响收敛速度与稳定性，其中 $\bar{\rho}=3, \bar{c}=1$ 表现最佳。
• 在评论家中使用重复样本会导致非收敛，凸显了每次更新使用独立采样对稳定学习的必要性。