[論文レビュー] Equivalence Between Policy Gradients and Soft Q-Learning

John Schulman, Xi Chen+1 more|arXiv (Cornell University)|Apr 21, 2017

Reinforcement Learning in Robotics参考文献 11被引用数 198

ひとこと要約

この論文はエントロピー正則化されたQ学習（ソフトQ学習）と方策勾配法の間の正確な同値性を証明し、それらを自然方策勾配と結びつけ、Atariでの実験により競争力のある性能を示す。

ABSTRACT

Two of the leading approaches for model-free reinforcement learning are policy gradient methods and $Q$-learning methods. $Q$-learning methods can be effective and sample-efficient when they work, however, it is not well-understood why they work, since empirically, the $Q$-values they estimate are very inaccurate. A partial explanation may be that $Q$-learning methods are secretly implementing policy gradient updates: we show that there is a precise equivalence between $Q$-learning and policy gradient methods in the setting of entropy-regularized reinforcement learning, that "soft" (entropy-regularized) $Q$-learning is exactly equivalent to a policy gradient method. We also point out a connection between $Q$-learning methods and natural policy gradient methods. Experimentally, we explore the entropy-regularized versions of $Q$-learning and policy gradients, and we find them to perform as well as (or slightly better than) the standard variants on the Atari benchmark. We also show that the equivalence holds in practical settings by constructing a $Q$-learning method that closely matches the learning dynamics of A3C without using a target network or $ε$-greedy exploration schedule.

研究の動機と目的

• Q学習法が不正確なQ値にもかかわらずときには良い性能を示す理由の理解を促す。
• エントロピー正則化の下で、ソフトQ学習と方策勾配法の勾配レベルでの正確な同値性を確立する。
• 自然方策勾配とA3Cのような actor-critic フレームワークとのつながりを橋渡しする。
• Atariでの実験と、ターゲットネットワークやε-greedy探索なしでA3Cのダイナミクスを鏡映的に再現するQ-learningの変種を構築することによって、実践的な妥当性を示す。

提案手法

• KLダイバージェンスペナルティとボルツマン方策を用いてエントロピー正則化強化学習を定式化する。
• nステップQ学習損失の勾配が、nステップの方策勾配損失の勾配に、ベースライン/エラー項を加えたものと一致することを示す。
• エントロピー正則化の下でボルツマンバックアップと固定方策バックアップ演算子を導出する。
• 勾配更新の最小二乗解釈を通して、ソフトQ学習を自然方策勾配と結びつける。
• ターゲットネットワークとnステップバックアップを用いて、エントロピー拡張報酬を最適化するソフトQ学習の変種を定義する。
• actor-critic法への実用的な接続を提供し、KLペナルティの組み込みと従来のエントロピー報酬の比較について議論する。

実験結果

リサーチクエスチョン

• RQ1 適切な条件の下で、エントロピー正則化されたソフトQ学習の勾配がポリシー勾配更新と同一であることを示せるか。
• RQ2 エントロピー正則化がQ学習とポリシー勾配の関係にどのような影響を与え、経験的な性能の類似を説明できるか。
• RQ3 ソフトQ学習と自然方策勾配法との関係は何か。
• RQ4 エントロピー正則化手法はAtariのような標準的なベンチマークで競争力を発揮するか、Q学習を用いてA3Cのダイナミクスを模倣できるか。
• RQ5 ターゲットネットワークや固定探索スケジュールなしで、実用的なQ学習の変種が actor-critic の学習ダイナミクスを再現できるか。

主な発見

• エントロピー正則化の下で、ソフトQ学習の勾配とポリシー勾配の勾配には正確な同値性がある。
• ソフトQ学習の勾配は、A3Cのような actor-critic 法と似たベースライン-エラー勾配項を含む、ポリシー勾配項に分解される。
• リプレイ/バッチ更新を用いるQ学習と自然方策勾配法との関係が描かれる。
• Atariの実験では、Q学習とポリシー勾配のエントロピー正則化バージョンが、標準的な変種と同等か、やや上回る性能を示す。
• ターゲットネットワークやepsilon-greedy探索なしで、A3C学習ダイナミクスに密接に一致するQ学習法を構築することで、実践的な同値性が成り立つ。