[論文レビュー] Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods

Peter Henderson, Joshua Romoff+1 more|arXiv (Cornell University)|Oct 5, 2018

Reinforcement Learning in Robotics参考文献 11被引用数 16

ひとこと要約

本稿は、連続的制御タスクにおける方策勾配法におけるさまざまな勾配降下最適化手法およびそのハイパーパrameterが与える影響を実験的に調査している。適応的最適化手法（例：Adam）は有効な学習率範囲が狭く、容易に発散することを発見した。一方、モーメンタムの有効性は環境のダイナミクスに強く依存しており、並列学習による暗黙のモーメンタムが深層強化学習における最適化の挙動を複雑にする可能性を示唆している。

ABSTRACT

Recent analyses of certain gradient descent optimization methods have shown that performance can degrade in some settings - such as with stochasticity or implicit momentum. In deep reinforcement learning (Deep RL), such optimization methods are often used for training neural networks via the temporal difference error or policy gradient. As an agent improves over time, the optimization target changes and thus the loss landscape (and local optima) change. Due to the failure modes of those methods, the ideal choice of optimizer for Deep RL remains unclear. As such, we provide an empirical analysis of the effects that a wide range of gradient descent optimizers and their hyperparameters have on policy gradient methods, a subset of Deep RL algorithms, for benchmark continuous control tasks. We find that adaptive optimizers have a narrow window of effective learning rates, diverging in other cases, and that the effectiveness of momentum varies depending on the properties of the environment. Our analysis suggests that there is significant interplay between the dynamics of the environment and Deep RL algorithm properties which aren't necessarily accounted for by traditional adaptive gradient methods. We provide suggestions for optimal settings of current methods and further lines of research based on our findings.

研究の動機と目的

• 深層強化学習における方策勾配法のパフォーマンスに、さまざまな勾配降下最適化手法がどのように影響を与えるかを調査すること。
• 学習率およびモーメンタムハイパーパrameterが方策勾配法の最適化に果たす役割を検討すること。
• Adam や RMSProp などの適応的最適化手法が確率的で非 i.i.d. な強化学習設定で失敗するメカニズムを特定すること。
• 同期的でマルチワーカーの学習設定における暗黙のモーメンタムの存在と、最適化の安定性への影響を調査すること。
• PPO および A2C アルゴリズムにおける最適化手法の選定およびハイパーパrameterチューニングに関する実用的提案を提供すること。

提案手法

• PPO および A2C アルゴリズムを用いて、連続的制御ベンチマークで 11 種類の勾配降下最適化手法（SGD, Adam, RMSProp, Adamax, AMSGrad など）を実験的に評価した。
• Ant, HalfCheetah, Hopper, Reacher, Walker2d などの複数の環境で、学習率およびモーメンタム値を変化させたアブレーションスタディを実施した。
• ワーカー数とステップ数の比率を変化させた同期的でマルチワーカーの学習設定を用い、暗黙のモーメンタム効果を調査した。
• 異なる環境間での比較を可能にするために、ランダムエージェントベースラインを用いてパフォーマンスを正規化した。
• 10 個のランダムシードを用いた学習曲線およびリターンの分析により、安定性とばらつきを評価した。
• 平均リターンと標準偏差の観点から結果を報告し、相対的なパフォーマンス向上を可視化するための正規化されたパフォーマンスプロットを用いた。

実験結果

リサーチクエスチョン

• RQ1 PPO および A2C における標準的な連続的制御環境において、さまざまな適応的最適化手法はどのように性能を発揮するか？
• RQ2 Adam や RMSProp などの適応的最適化手法が方策勾配学習において最適な学習率範囲は何か？
• RQ3 モーメンタムは学習パフォーマンスにどのように影響を及ぼすか？その有効性は異なる環境で変化するか？
• RQ4 マルチワーカーの同期的学習設定では、最適化の安定性に影響を与える暗黙のモーメンタムがどの程度導入されるか？
• RQ5 従来の適応的勾配法は深層強化学習において信頼性を持って適用可能か？それとも、変動しやすい損失関数と遅延する勾配の影響で失敗するのか？

主な発見

• Adam や RMSProp などの適応的最適化手法は、有効な学習率範囲が狭く、この範囲外では頻繁に発散する。
• ネステロフモーメンタムを備えた SGD などのモーメンタムベースの最適化手法は、環境によってパフォーマンスに顕著な差が生じ、最適な値がタスクのダイナミクスに依存する。
• 同期的学習におけるワーカー数とステップ数の比率を高めるほど、特に一部の環境で低いモーメンタム値に有益な影響を与える、暗黙のモーメンタムを示すノイズの多いトレンドが現れる。
• 最も優れたパフォーマンスを示した設定は、しばしば高並列環境下で低いモーメンタム（例：0.11–0.33）を採用しており、サンプリングバイアスに起因する暗黙のモーメンタムが最適化に影響を与えていることを示唆している。
• PPO に SGD と低モーメンタム（0.11–0.33）を組み合わせた設定は、10 環境中 8 環境で最高の正規化リターンを達成しており、特にワーカー数が多い設定で顕著だった。
• Adam と高いモーメンタム（0.99）を組み合わせた場合、パフォーマンスは著しく低下し、一部のケース（例：32 ワーカーでの Walker2d では 171 対 209）ではランダムベースラインを下回ることもあった。