[論文レビュー] Natural Gradient Deep Q-learning

Ethan Knight, Osher Lerner|arXiv (Cornell University)|Mar 20, 2018

Neural Networks and Applications参考文献 17被引用数 5

ひとこと要約

本稿では、ターゲットネットワークを必要とせず、訓練の安定性とサンプル効率を向上させる自然勾配に基づく深層Q学習アルゴリズム、NGDQNを提案する。フィッシャー情報行列を用いてパラメータ更新を適応的にスケーリングすることで、NGDQNは標準DQNよりも高速な収束と優れた性能を達成し、古典的制御環境においては、ターゲットネットワークを備えたDQNでさえも上回る場合がある。

ABSTRACT

We present a novel algorithm to train a deep Q-learning agent using natural-gradient techniques. We compare the original deep Q-network (DQN) algorithm to its natural-gradient counterpart, which we refer to as NGDQN, on a collection of classic control domains. Without employing target networks, NGDQN significantly outperforms DQN without target networks, and performs no worse than DQN with target networks, suggesting that NGDQN stabilizes training and can help reduce the need for additional hyperparameter tuning. We also find that NGDQN is less sensitive to hyperparameter optimization relative to DQN. Together these results suggest that natural-gradient techniques can improve value-function optimization in deep reinforcement learning.

研究の動機と目的

• 非線形関数近似器を用いた訓練における深層Q学習（DQN）の不安定さとハイパーパrameterへの感受性を解消すること。
• 自然勾配法が深層強化学習における価値関数最適化を安定化させられるかどうかを調査すること。
• 自然勾配がDQNにおける補助的コンponents（例：ターゲットネットワーク）の必要性を低減または排除できるかどうかを同定すること。
• ハイパーパrameter設定の変動に応じて、CartPole や LunarLander を含む多様な制御タスクにおけるNGDQNの性能を評価すること。
• 計算コストと最適化品質の観点から、正確な逆行列の代わりに近似FIM逆行列手法（例：MinRes-QLP、線形CG）の有効性を比較すること。

提案手法

• 標準の適応的勾配法（例：Adam）に代えて、自然勾配降下法を用いてQネットワークのパラメータを最適化する深層Q学習エージェント、NGDQNを提案する。
• 再パラメータ化に不変であり、データの順序入れ替えに対してもより安定する、曲率を考慮したパラメータ更新を計算するためにフィッシャー情報行列（FIM）を採用する。
• 正確な逆行列の代わりに、計算コストを低減しつつ正確性をほぼ維持できる近似FIM逆行列技術（MinRes-QLPおよび線形共役勾配法（CG））を用いる。
• 標準DQNと同様に経験再生と報酬クリッピングを適用するが、標準最適化手法の代わりに自然勾配更新を採用することで、訓練の安定性を向上させる。
• FIM逆行列処理にダミングを導入し、通常は最大固有値の5%〜10%の範囲でダミング係数を設定することで、曲率推定への過剰適合を防ぐ。
• OpenAI Gym環境（例：CartPole、LunarLander、Acrobot）でNGDQNを訓練し、ターゲットネットワーク有無のベースラインDQNと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットネットワークを一切使用せずに、自然勾配最適化が深層Q学習の訓練を安定化させられるか？
• RQ2 複数の制御環境において、NGDQNはターゲットネットワーク有無の標準DQNと比べてどのように性能を発揮するか？
• RQ3 NGDQNは標準DQNと比較して、ハイパーパrameterチューニングへの感受性をどの程度低減するか？
• RQ4 近似FIM逆行列手法（MinRes-QLP、線形CG）は、真の自然勾配更新をどの程度正確に近似できるか？
• RQ5 自然勾配は連続的制御タスクにおける深層Q学習のサンプル効率と収束速度を向上させるか？

主な発見

• NGDQNは、テストしたすべての環境でターゲットネットワークなしDQNを上回り、より高い平均報酬と高速な収束を達成した。
• NGDQNはターゲットネットワーク付きDQNと同等またはそれ以上の性能を示しており、自然勾配がターゲットネットワークの安定化機能を代替できることを示している。
• NGDQNは標準DQNと比較して顕著にハイパーパrameterチューニングへの感受性が低く、さまざまな設定においてより高いロバスト性を示した。
• 近似FIM逆行列手法（MinRes-QLPおよび線形CG）は、正確な逆行列と比較して、ほぼ同じ方向のパラメータ更新を生成し、わずかに小さい大きさとなった。これにより、これらの手法の有効性が裏付けられた。
• FIM逆行列処理におけるダミング係数は、通常最大固有値の5%〜10%の範囲にあり、安定性と正確性のバランスの取れた妥当な範囲であることが示された。
• 近似FIM逆行列の計算時間は正確な逆行列よりも顕著に短く、NGDQNが実世界のRL応用にスケーラブルであることが示された。