[論文レビュー] Deep Reinforcement Learning with Relative Entropy Stochastic Search

Voot Tangkaratt, Abbas Abdolmaleki+1 more|arXiv (Cornell University)|May 22, 2017

Reinforcement Learning in Robotics被引用数 3

ひとこと要約

本論文は、相対エントロピーとエントロピー正則化を用いて方策更新を制約することで、方策学習の安定化を図る深層強化学習手法を提案している。この手法により、ガウス方策と2次Q関数を用いた閉形式最適化が可能となり、連続的制御タスクにおいてDDPGや連続的Q学習よりもより安定した学習が実現される。

ABSTRACT

Many reinforcement learning methods for continuous control tasks are based on updating a policy function by maximizing an approximated action-value function or Q-function. However, the Q-function also depends on the policy and this dependency often leads to unstable policy learning. To overcome this issue, we propose a method that does not greedily exploit the Q-function. To do so, we upper-bound the Kullback-Leibler divergence of the new policy while maximizing the Q-function. Furthermore, we also lower-bound the entropy of the new policy to maintain its exploratory behavior. We show that by using a Gaussian policy and a Q-function that is quadratic in actions, we can solve the corresponding constrained optimization problem in a closed form. In addition, we show that our method can be regarded as a variant of the well-known deterministic policy gradient method. Through experiments, we evaluate the proposed method using a neural network as a function approximator and show that it gives more stable learning performance than the deep deterministic policy gradient method and the continuous Q-learning method.

研究の動機と目的

• 深層強化学習におけるQ関数と方策の相互依存性が引き起こす方策学習の不安定性を解消すること。
• エントロピー正則化により探査行動を維持することで、サンプル効率と収束性を向上させること。
• エントロピーおよび相対エントロピー制約下での方策更新の閉形式解を確立すること。
• DDPGや連続的Q学習のような決定的方策勾配法の安定した代替手法を提供すること。

提案手法

• 方策更新ステップを制限するための相対エントロピー上界を用い、方策改善中の安定性を確保する。
• 方策エントロピーの下界を適用し、探査行動を維持し、早期収束を防ぐ。
• ガウス方策と行動に関して2次関数であるQ関数を仮定することで、制約付き最適化問題の解析的解を可能にする。
• Q関数の最大化とエントロピーおよび相対エントロピー制約のバランスを取る閉形式の方策更新ルールを導出する。
• 正則化を方策更新プロセスに統合した、決定的方策勾配の変種としての手法を再定式化する。
• Q関数と方策ネットワークの両方の関数近似にニューラルネットワークを用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 相対エントロピー制約は、連続的制御のための深層強化学習における方策学習を安定化させることができるか？
• RQ2 エントロピー正則化は、方策最適化の探査行動および収束性にどのように影響を与えるか？
• RQ3 ガウス方策と2次Q関数の下で、制約付き最適化問題を閉形式で解くことができるか？
• RQ4 提案手法は、DDPGや連続的Q学習と比較して、安定性および性能面で優れているか？

主な発見

• 提案手法は、深層決定的方策勾配（DDPG）法と比較して、より安定した学習パフォーマンスを達成した。
• 連続的制御ベンチマークにおいて、訓練の安定性および最終的なパフォーマンスの両面で、連続的Q学習を上回った。
• 閉形式解は、ガウス方策と2次Q関数の仮定の下で導出された。
• 相対エントロピーおよびエントロピー制約の統合により、滑らかな方策更新が実現され、学習中の発散が軽減された。