[论文解读] Deep Reinforcement Learning via L-BFGS Optimization

Jacob Rafati, Roummel F. Marcia|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 33被引用 5

一句话总结

本文提出了一种使用L-BFGS拟牛顿优化方法作为随机梯度下降（SGD）替代方案的深度强化学习框架。通过利用梯度信息获得的低秩海森矩阵近似，该方法实现了鲁棒的收敛性、更快的训练速度（200万步训练时间少于3小时），并消除了经验回放的需求，在Atari 2600游戏的关键指标上优于多种先前方法。

ABSTRACT

Reinforcement Learning (RL) algorithms allow artificial agents to improve their action selections so as to increase rewarding experiences in their environments. Deep Reinforcement Learning algorithms require solving a nonconvex and nonlinear unconstrained optimization problem. Methods for solving the optimization problems in deep RL are restricted to the class of first-order algorithms, such as stochastic gradient descent (SGD). The major drawback of the SGD methods is that they have the undesirable effect of not escaping saddle points and their performance can be seriously obstructed by ill-conditioning. Furthermore, SGD methods require exhaustive trial and error to fine-tune many learning parameters. Using second derivative information can result in improved convergence properties, but computing the Hessian matrix for large-scale problems is not practical. Quasi-Newton methods require only first-order gradient information, like SGD, but they can construct a low rank approximation of the Hessian matrix and result in superlinear convergence. The limited-memory Broyden-Fletcher-Goldfarb-Shanno (L-BFGS) approach is one of the most popular quasi-Newton methods that construct positive definite Hessian approximations. In this paper, we introduce an efficient optimization method, based on the limited memory BFGS quasi-Newton method using line search strategy -- as an alternative to SGD methods. Our method bridges the disparity between first order methods and second order methods by continuing to use gradient information to calculate a low-rank Hessian approximations. We provide formal convergence analysis as well as empirical results on a subset of the classic ATARI 2600 games. Our results show a robust convergence with preferred generalization characteristics, as well as fast training time and no need for the experience replaying mechanism.

研究动机与目标

• 为解决SGD在深度强化学习中的局限性，包括收敛缓慢、对超参数敏感以及难以逃离鞍点。
• 探索通过拟牛顿方法实现二阶优化，作为完整海森矩阵计算的可扩展替代方案。
• 通过实现L-BFGS的高效稳定训练，消除深度Q-learning中对经验回放内存的需求。
• 在标准Atari 2600环境上评估基于L-BFGS的深度Q-learning性能。
• 证明曲率感知优化可提升非凸深度强化学习问题中的收敛性和泛化能力。

提出的方法

• 使用有限内存BFGS（L-BFGS）拟牛顿方法，仅通过梯度信息近似海森矩阵。
• 采用线搜索策略确定步长，确保每次迭代中损失函数充分减小。
• 构建低秩、正定的海森矩阵近似，捕捉曲率信息而无需显式计算海森矩阵。
• 将该方法应用于训练深度Q网络（DQN），通过函数逼近进行状态-动作值估计。
• 在GPU上实现该算法以实现高效并行计算，避免经验回放带来的内存开销。
• 实验中使用大小为b ∈ {512, 1024, 2048, 4096}的迷你批量和L-BFGS内存大小m ∈ {20, 40, 80}。

实验结果

研究问题

• RQ1 L-BFGS优化是否能在深度强化学习中实现比SGD更快且更稳定的训练？
• RQ2 通过L-BFGS利用曲率信息是否能提升Atari 2600游戏上的泛化能力和测试性能？
• RQ3 L-BFGS能否在保持或提升性能的同时消除深度Q-learning中对经验回放的需求？
• RQ4 L-BFGS方法在不同批量大小和L-BFGS内存大小下的表现如何？
• RQ5 基于L-BFGS的深度强化学习是否能在无需超参数调优的情况下，对多样化的Atari环境实现鲁棒收敛并取得高分？

主要发现

• L-BFGS方法在全部六个Atari 2600游戏中均实现了鲁棒学习，且在不同批量大小和内存设置下表现一致。
• 200万步训练时间少于3小时，显著快于TRPO（500次迭代耗时30小时）及其他方法。
• 在Space Invaders游戏中，该方法优于DQN和TRPO，得分达955，而DQN为581，TRPO为568。
• 在Beam Rider（1380分）、Breakout（18分）和Q*bert（1525分）中表现优异，优于Sarsa和情境感知方法。
• 训练时间与批量大小或L-BFGS内存大小之间无显著相关性，表明性能稳定且可预测。
• 该方法实现了较低的平方时序差分（STD）误差，且无需经验回放，降低了内存使用并简化了训练过程。