[論文レビュー] Deep Reinforcement Learning via L-BFGS Optimization

Jacob Rafati, Roummel F. Marcia|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 33被引用数 5

ひとこと要約

本稿では、確率的勾配降下法（SGD）の代替として、L-BFGS準ニュートン最適化法を用いた深層強化学習フレームワークを提案する。勾配情報からの低ランクヘシアン近似を活用することで、収束性が高く、訓練が高速化（200万ステップで3時間未塔）され、経験再生の必要がなくなり、アタリ2600ゲームにおいて複数の先行手法を上回る主要指標を達成した。

ABSTRACT

Reinforcement Learning (RL) algorithms allow artificial agents to improve their action selections so as to increase rewarding experiences in their environments. Deep Reinforcement Learning algorithms require solving a nonconvex and nonlinear unconstrained optimization problem. Methods for solving the optimization problems in deep RL are restricted to the class of first-order algorithms, such as stochastic gradient descent (SGD). The major drawback of the SGD methods is that they have the undesirable effect of not escaping saddle points and their performance can be seriously obstructed by ill-conditioning. Furthermore, SGD methods require exhaustive trial and error to fine-tune many learning parameters. Using second derivative information can result in improved convergence properties, but computing the Hessian matrix for large-scale problems is not practical. Quasi-Newton methods require only first-order gradient information, like SGD, but they can construct a low rank approximation of the Hessian matrix and result in superlinear convergence. The limited-memory Broyden-Fletcher-Goldfarb-Shanno (L-BFGS) approach is one of the most popular quasi-Newton methods that construct positive definite Hessian approximations. In this paper, we introduce an efficient optimization method, based on the limited memory BFGS quasi-Newton method using line search strategy -- as an alternative to SGD methods. Our method bridges the disparity between first order methods and second order methods by continuing to use gradient information to calculate a low-rank Hessian approximations. We provide formal convergence analysis as well as empirical results on a subset of the classic ATARI 2600 games. Our results show a robust convergence with preferred generalization characteristics, as well as fast training time and no need for the experience replaying mechanism.

研究の動機と目的

• 確率的勾配降下法（SGD）の深層強化学習における限界、すなわち収束が遅い、ハイパーパramータに敏感であること、鞍点からの脱出が不十分であることを是正すること。
• 完全ヘシアン計算の代替として、スケーラブルな準ニュートン法による2次最適化を検討すること。
• L-BFGSを用いることで、経験再生メモリの必要性を排除し、効率的で安定した訓練を可能とすること。
• 標準的なアタリ2600環境におけるL-BFGSに基づく深層Q学習の性能を評価すること。
• 曲率を考慮した最適化が、非凸な深層強化学習問題における収束性と一般化性能を向上させることを示すこと。

提案手法

• 勾配情報のみを用いてヘシアン行列を近似する、限界記憶付きBFGS（L-BFGS）準ニュートン法を採用する。
• 各反復で損失関数の十分な減少を保証するため、ラインサーチ戦略を用いてステップサイズを決定する。
• 明示的なヘシアン計算なしに、曲率情報を捉えた低ランクで正定値のヘシアン近似を構築する。
• 状態-行動価値推定のための関数近似に、深層Qネットワーク（DQN）をL-BFGSで訓練する。
• 経験再生のメモリオーバーヘッドを回避するため、GPU上で並列計算を実装して効率化する。
• 実験では、バッチサイズ b ∈ {512, 1024, 2048, 4096} および L-BFGSのメモリサイズ m ∈ {20, 40, 80} を用いた。

実験結果

リサーチクエスチョン

• RQ1 L-BFGS最適化は、深層強化学習においてSGDよりも高速かつ安定した訓練を達成できるか？
• RQ2 L-BFGSによる曲率情報の利用は、アタリ2600ゲームにおける一般化性能とテスト性能を向上させるか？
• RQ3 L-BFGSを用いることで、深層Q学習における経験再生の必要性を排除できるか、かつ性能を維持または向上できるか？
• RQ4 L-BFGSアルゴリズムにおける異なるバッチサイズおよびメモリサイズでのL-BFGS法の性能はいかがなものか？
• RQ5 L-BFGSに基づく深層強化学習は、ハイパーパramータのチューニングなしに、多様なアタリ環境で高得点への収束をロバストに達成できるか？

主な発見

• L-BFGS法は、6種類のアタリ2600ゲームすべてで安定した学習を達成し、異なるバッチサイズおよびメモリ設定でも一貫した性能を示した。
• 200万ステップの訓練時間は3時間未塔であり、TRPO（500イテレーションで30時間）や他の手法よりも顕著に高速であった。
• スペースインベーダーズでは、DQNの581点、TRPOの568点を上回る955点を達成し、DQNおよびTRPOを上回った。
• ビームライダー（1380点）、ブレイクアウト（18点）、Q*ベルト（1525点）でも強力な性能を発揮し、Sarsaやコンティングジェンシー認識手法を上回った。
• 訓練時間とバッチサイズ、L-BFGSメモリサイズとの間に相関は認められず、安定的かつ予測可能な性能であることが示された。
• 二乗時間差分（STD）誤差が低く抑えられ、経験再生を必要としなかったため、メモリ使用量が削減され、訓練が簡素化された。