[論文レビュー] Smoothed Action Value Functions for Learning Gaussian Policies

Ofir Nachum, Mohammad Norouzi+2 more|arXiv (Cornell University)|Mar 6, 2018

Reinforcement Learning in Robotics参考文献 20被引用数 10

ひとこと要約

この論文では、学習可能な平均と分散を備えたガウス方策のエンドツーエンド学習を可能にするガウス平滑化Q値である滑らか化作用価値関数を導入する。滑らか化Q値の勾配とヘッセ行列の勾配から方策勾配を導出し、提案されたSmoothieアルゴリズムは連続的制御ベンチマークにおいて優れた性能を発揮する。特に、安定性を高めるためにKLダイバージェンス正則化項を導入することで、DDPGを上回り、環境ステップ数を大幅に減らしてTRPOと同等またはそれを上回る性能を達成する。

ABSTRACT

State-action value functions (i.e., Q-values) are ubiquitous in reinforcement learning (RL), giving rise to popular algorithms such as SARSA and Q-learning. We propose a new notion of action value defined by a Gaussian smoothed version of the expected Q-value. We show that such smoothed Q-values still satisfy a Bellman equation, making them learnable from experience sampled from an environment. Moreover, the gradients of expected reward with respect to the mean and covariance of a parameterized Gaussian policy can be recovered from the gradient and Hessian of the smoothed Q-value function. Based on these relationships, we develop new algorithms for training a Gaussian policy directly from a learned smoothed Q-value approximator. The approach is additionally amenable to proximal optimization by augmenting the objective with a penalty on KL-divergence from a previous policy. We find that the ability to learn both a mean and covariance during training leads to significantly improved results on standard continuous control benchmarks.

研究の動機と目的

• DDPGのような既存のオフポリシー手法が、方策を決定論的または固定分散のガウス形式に制限するため、探索性が低く不安定になるという問題を解決すること。
• Q値関数の勾配から得られる勾配を用いて、ガウス方策における平均と分散の両方を同時に学習する手法を開発すること。
• KLダイバージェンス正則化項を用いて近接方策最適化技術を統合し、サンプル効率を損なわせずに訓練の安定性を向上させること。
• 学習可能な分散が、特にサンプルが限られた状況下で、挑戦的な連続的制御ベンチマークにおける性能を顕著に向上させることを実証すること。

提案手法

• 初期行動が固定分散 $\Sigma(s)$ を持つガウス分布に中心を置いたものとして、その期待報酬として定義される新しいQ値関数、すなわち滑らか化Q値 $\tilde{Q}^\pi(s,a)$ を導入する。
• 方策平均に関する期待報酬の勾配が、$\tilde{Q}^\pi$ の行動に関する勾配に等しくなること、および、行動に関するヘッセ行列が方策分散に関する勾配に等しくなることを証明する。
• 滑らか化Q値 $\tilde{Q}^\pi$ の関数近似器を用い、その勾配とヘッセ行列をバックプロパゲーションすることで、ガウス方策の平均と分散を同時に更新するSmoothieアルゴリズムを開発する。
• 以前の方策とのKLダイバージェンス正則化項を方策目的関数に追加し、近接最適化を可能にし、訓練の安定性を向上させる。
• 滑らか化Q値が1ステップのベルマン整合性方程式を満たすという事実を活用して、ブートストラップされたベルマン更新を用いてクライマー・ネットワークを学習する。
• オフポリシーの経験リプレイと確率的勾配降下法を用い、DDPGと同様のフレームワークで、クライマーとアクターの両方のネットワークを最適化するが、ここでは完全な分散学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 行動に関する滑らか化Q値の勾配とヘッセ行列が、ガウス方策の平均と分散の両方の政策勾配を正確に得られるような、滑らか化Q値関数を定義できるか？
• RQ2 ガウス方策において平均と分散の両方を学習することは、連続的制御ベンチマークにおけるサンプル効率と性能を向上させるか？
• RQ3 KL正則化などの近接方策最適化技術を、完全なガウス方策を学習するオフポリシー手法に効果的に統合できるか？
• RQ4 平均と分散の両方を学習する手法の性能は、DDPGやTRPOと比較して、最終的な報酬とサンプル効率の両面で優れているか？

主な発見

• Hopper環境では、SmoothieはDDPGの平均報酬を2倍に改善し、学習可能な分散による顕著な性能向上を示している。
• Humanoidでは、SmoothieにKL正則化を適用した場合、数百万ステップの環境ステップで学習された手法の中では最先端の結果を達成し、数十 millions ステップを必要とするTRPOでさえも上回っている。
• SmoothieにKL正則化を追加することで、特にHopperとHumanoidで顕著な性能向上が得られ、訓練の安定性が向上していることが示された。
• Smoothieは全ベンチマークでDDPGを常に上回り、Hopper、Walker2d、Ant、Humanoidで最も顕著な向上が見られた。これは、探索的で決定論的でない方策の利点を示している。
• 標準的な方策勾配法の高分散性とサンプル非効率性を回避しながら、DDPGのオフポリシー効率性を維持している。
• 理論的分析により、滑らか化Q値がベルマン方程式を満たすことが確認され、ブートストラップによる関数近似と安定した学習が可能であることが裏付けられた。