[論文レビュー] GRAC: Self-Guided and Self-Regularized Actor-Critic

Lin Shao, Yifan You+3 more|arXiv (Cornell University)|Sep 18, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 6

ひとこと要約

GRACは、自己正則化TD学習と組み合わせた方策勾配およびゼロ次最適化（交差エントロピー法）を用いて、ターゲットネットワークの必要性を排除する画期的なアクタ・クリティック強化学習アルゴリズムです。OpenAI Gymの連続的制御タスク6つすべてで最先端の性能を達成し、より高速で安定した学習を実現しています。

ABSTRACT

Deep reinforcement learning (DRL) algorithms have successfully been demonstrated on a range of challenging decision making and control tasks. One dominant component of recent deep reinforcement learning algorithms is the target network which mitigates the divergence when learning the Q function. However, target networks can slow down the learning process due to delayed function updates. Our main contribution in this work is a self-regularized TD-learning method to address divergence without requiring a target network. Additionally, we propose a self-guided policy improvement method by combining policy-gradient with zero-order optimization to search for actions associated with higher Q-values in a broad neighborhood. This makes learning more robust to local noise in the Q function approximation and guides the updates of our actor network. Taken together, these components define GRAC, a novel self-guided and self-regularized actor critic algorithm. We evaluate GRAC on the suite of OpenAI gym tasks, achieving or outperforming state of the art in every environment tested.

研究の動機と目的

• ターゲットネットワークに依存せずに深層Q学習の発散を解消すること。
• 方策勾配とゼロ次最適化によるアクション空間探索を組み合わせることで、方策学習の安定性とサンプル効率を向上させること。
• Max-minダブルQ学習を用いて、Qネットワーク間の過大評価と乖離を低減すること。
• 遅延したターゲットネットワークの更新なしに、Q値の更新を安定化させる自己正則化TD学習法を開発すること。
• 連続的制御環境で、強力で安定的かつ高速な学習を実現する最先端の性能を達成すること。

提案手法

• TD学習に自己正則化項を導入し、TD誤差を最小化すると同時にターゲット値の変化を最小化することで、ターゲットネットワークの必要性を排除する。
• 2段階のポリシー改善を採用：まず、ポリシーネットワークが初期アクションを出力し、次に交差エントロピー法（CEM）がアクションの近傍を探索してQ値がより高いものを特定する。
• Max-minダブルQ学習を用い、ターゲット値を2つのQネットワーク出力の最小値として計算することで、過大評価を低減し、学習を安定化させる。
• エージェントの更新において2つの損失関数を組み合わせる：QLoss（方策勾配）とCEMLoss（ゼロ次最適化によるアクション探索）、これにより強力なポリシー更新を実現する。
• クライアントのソフト更新にPolyak平均を適用するが、自己正則化のおかげでターゲットネットワークがなくても安定した学習が可能である。
• Max-minダブルQ学習を用いた二重Qネットワークアーキテクチャを採用し、Q関数の大きさをバランスさせ、発散を低減する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットネットワークを用いずに深層Q学習を安定化させ、学習を加速させることは可能か？
• RQ2 CEMのようなゼロ次最適化手法は、現在のポリシー出力の近傍で高報酬のアクションを探索することで、方策学習を改善できるか？
• RQ3 Max-minダブルQ学習は、クリッピングされたダブルQ学習よりもQネットワーク間の過大評価と乖離をより効果的に低減できるか？
• RQ4 自己正則化TD学習は、関数の更新を高速化しつつも、Q値推定の安定性を維持できるか？
• RQ5 方策勾配とゼロ次最適化を組み合わせることで、連続的制御タスクにおける性能が向上するか？

主な発見

• GRACは、OpenAI Gymの連続的制御タスク6つ（Ant-v2、Humanoid-v2、HalfCheetah-v2など）すべてで最先端の性能を達成し、あるいはそれを上回っています。
• 自己正則化とターゲットネットワークなしのGRACは、DDPGと同等またはそれを上回る性能を示し、より高速に学習し、発散を回避しています。
• アブレーションスタディの結果、QLossとCEMLossを併用することで、単独で使用する場合よりも優れた性能が得られ、特にSwimmerではCEMLoss、HalfCheetahではQLossが顕著に効果的であることが示された。
• Max-minダブルQ学習をクリッピングされたダブルQ学習に置き換えると、Q値学習が不安定になり、Q1がQ2に対して急激に増大し、性能が崩壊する結果となった。
• CriticCEMなし（クリッピングされたダブルQ学習を用いる）のGRACは、高い分散と不安定なQ値更新を示した一方、GRACは滑らかなQ関数の成長とQ1−Q2の差の低さを維持していた。
• CriticCEMなしでminQUpdate（Qネットワークの最小値）を用いるGRACは、Ant-v2 や Humanoid-v2 といった困難なタスクでGRACに劣り、Max-minダブルQ学習がより効果的であることが示された。