[论文解读] Adaptive Approximate Policy Iteration

Botao Hao, Nevena Lazic+3 more|arXiv (Cornell University)|Feb 8, 2020

Reinforcement Learning in Robotics参考文献 50被引用 8

一句话总结

本文提出自适应近似策略迭代（AAPI），一种无需模型的强化学习算法，通过使用自适应、数据相关的学习率以及价值函数变化的乐观预测，实现了在具有函数逼近的无折扣、持续性马尔可夫决策过程中的遗憾界为 $\widetilde{O}(T^{2/3})$ —— 相较于先前最优的 $\widetilde{O}(T^{3/4})$ 遗憾界有所改进。该方法通过将价值函数视为损失，借鉴在线学习技术，并利用KL散度进行正则化以稳定策略更新。

ABSTRACT

Model-free reinforcement learning algorithms combined with value function approximation have recently achieved impressive performance in a variety of application domains. However, the theoretical understanding of such algorithms is limited, and existing results are largely focused on episodic or discounted Markov decision processes (MDPs). In this work, we present adaptive approximate policy iteration (AAPI), a learning scheme which enjoys a $ ilde{O}(T^{2/3})$ regret bound for undiscounted, continuing learning in uniformly ergodic MDPs. This is an improvement over the best existing bound of $ ilde{O}(T^{3/4})$ for the average-reward case with function approximation. Our algorithm and analysis rely on online learning techniques, where value functions are treated as losses. The main technical novelty is the use of a data-dependent adaptive learning rate coupled with a so-called optimistic prediction of upcoming losses. In addition to theoretical guarantees, we demonstrate the advantages of our approach empirically on several environments.

研究动机与目标

• 为无折扣、持续性 MDP 中的无模型强化学习填补理论空白，尤其是在函数逼近条件下。
• 在具有函数逼近的平均奖励设置下，改进现有 $\widetilde{O}(T^{3/4})$ 的遗憾界。
• 开发一种稳定且可扩展的策略迭代框架，利用在线学习与自适应正则化。
• 从理论上证明在策略改进中使用价值函数平均和自适应学习率的合理性。

提出的方法

• 该算法将策略改进建模为在线学习问题，将每个状态的价值函数视为损失。
• 采用基于状态相关、数据自适应学习率的自适应乐观追随正则化领导者（AO-FTRL）更新规则。
• 策略被构造为过去 Q 函数估计累积和的玻尔兹曼分布，并额外加入对下一个损失的乐观预测。
• 通过 KL 散度相对于前一策略进行正则化，以提供稳定性并防止策略更新过大。
• 该方法对特定的函数逼近技术保持无感知，因此可适用于线性函数逼近器及其他表示形式。
• 理论分析依赖于对 $\ell_\infty$-范数下 Q 函数估计误差的有界性，以及利用 MDP 的性质（如统一遍历性）。

实验结果

研究问题

• RQ1 在具有函数逼近的平均奖励、持续性 MDP 设置下，能否实现比 $\widetilde{O}(T^{3/4})$ 更紧的遗憾界？
• RQ2 自适应学习率与乐观预测如何改善基于近似策略迭代的收敛性与稳定性？
• RQ3 是否可以利用价值函数估计的缓慢变化特性，以改进基于在线学习的强化学习中的遗憾界？
• RQ4 通过 KL 散度实现的自适应正则化在函数逼近设置下对稳定策略更新起到了何种作用？
• RQ5 在何种特征表示与估计误差的假设下，可以保证 $\widetilde{O}(T^{2/3})$ 的遗憾界？

主要发现

• AAPI 在具有函数逼近的统一遍历性、无折扣 MDP 中实现了 $\widetilde{O}(T^{2/3})$ 的遗憾界，优于先前最优的 $\widetilde{O}(T^{3/4})$。
• 该改进源于对估计 Q 函数缓慢变化特性的利用，以及在策略更新中采用自适应、数据相关的学习率。
• 理论分析表明，在特征矩阵正则性和估计误差的标准假设下，价值函数的 $\ell_\infty$-范数估计误差是有界的。
• 该方法对函数逼近具有鲁棒性：不依赖于特定函数类，可与线性函数逼近器等结合使用。
• 实验结果表明，AAPI 在多个环境中相较于现有方法展现出实际优势，尤其在样本效率与稳定性方面。
• 分析依赖于一种新颖的遗憾分解方法，通过引入 MDP 特有的性质（如混合时间与平稳分布）以收紧边界。