[論文レビュー] Stochastic Variance-Reduced Policy Gradient

Matteo Papini, Damiano Binaghi+3 more|arXiv (Cornell University)|Jun 14, 2018

Reinforcement Learning in Robotics被引用数 16

ひとこと要約

本論文は、非凸な目的関数、近似された全勾配、およびMDPにおける非定常的サンプリングの問題に対処する強化学習のための確率的バリアンス低減方針勾配アルゴリズム、SVRPGを提案する。重要度重みを用いることで勾配の不偏性を保ち、バッチサイズを増加させることで線形収束を達成し、連続的制御タスクにおいてより優れたサンプル効率と安定性を示した。

ABSTRACT

In this paper, we propose a novel reinforcement- learning algorithm consisting in a stochastic variance-reduced version of policy gradient for solving Markov Decision Processes (MDPs). Stochastic variance-reduced gradient (SVRG) methods have proven to be very successful in supervised learning. However, their adaptation to policy gradient is not straightforward and needs to account for I) a non-concave objective func- tion; II) approximations in the full gradient com- putation; and III) a non-stationary sampling pro- cess. The result is SVRPG, a stochastic variance- reduced policy gradient algorithm that leverages on importance weights to preserve the unbiased- ness of the gradient estimate. Under standard as- sumptions on the MDP, we provide convergence guarantees for SVRPG with a convergence rate that is linear under increasing batch sizes. Finally, we suggest practical variants of SVRPG, and we empirically evaluate them on continuous MDPs.

研究の動機と目的

• 標準のSVRG手法が非凸な目的関数および非定常的データ分布のための挑戦に直面する強化学習に適したバリアンス低減方針勾配法の開発を目的とする。
• SVRGを方針勾配に適応させる際の3つの主要な困難、すなわち非凸な目的関数、全勾配計算における近似、非定常的サンプリングプロセスの解決を目的とする。
• 標準的なMDP仮定の下で収束を保証しつつ、重要度重みの導入下でも不偏な勾配推定を維持することを目的とする。
• 増加するバッチサイズの下で線形収束率を理論的に保証する。これは、標準的な確率的方針勾配法を上回る。
• 連続的制御ベンチマーク上で本手法を実証的に検証し、ベースラインの方針勾配アプローチと比較して、より優れたサンプル効率と安定性を示すこと。

提案手法

• スナップショット更新用とサブイテレーション用に2つの異なるADAM最適化手法を用いる、SVRGフレームワークと方針勾配を組み合わせた新規方針勾配アルゴリズムSVRPGを提案する。
• 現在の方針とスナップショット方針の間の分布シフトを補正するために重要度重みを用い、勾配推定の不偏性を保持する。
• 2段階の最適化ループを採用する：外側のループでスナップショット方針における全勾配推定を計算し、内側のループでバッチサイズを小さくしたミニバッチを用いた複数回の確率的更新を実行する。
• スナップショットフェーズとサブイテレーションフェーズで別々の学習率と自己適応的モーメント履歴を用いる。スナップショットADAMはより大きなバッチサイズ（N）と高い学習率を用いる。
• Half Cheetahタスクにおけるバリアンス低減のため、各スナップショットで最小二乗法によりフィッティングされた線形ベースライン（評価者）を実用的な変種として導入する。
• 期待方針勾配の有限和近似を用いる。全勾配は大規模なトラジェクトリーバッチを用いて推定され、確率的勾配はミニバッチを介して計算される。

実験結果

リサーチクエスチョン

• RQ1 非凸な目的関数と非定常的サンプリングの下でも、SVRGのようなバリアンス低減勾配法が方針勾配強化学習に成功裏に適応可能か？
• RQ2 重要度重みと近似全勾配を用いる場合、方針勾配において不偏な勾配推定をどのように維持できるか？
• RQ3 標準的なMDP仮定の下で、バリアンス低減方針勾配アルゴリズムの理論的収束率はどの程度保証できるか？
• RQ4 連続的制御タスクにおいて、SVRPGは標準的な方針勾配ベースラインと比較して、サンプル効率と安定性で優れているか？
• RQ5 実世界の強化学習環境において、メタパrameterと自己適応的最適化手法の実用的設定で最も優れたパフォーマンスを達成するものは何か？

主な発見

• 標準的なMDP仮定の下で、SVRPGはバッチサイズが増加するにつれて線形収束率O(1/T)を達成する。
• Half Cheetah、Swimmer、Cart-Poleなどの連続的制御タスクにおいて、標準的な方針勾配ベースラインを上回る優れたサンプル効率と安定性を示した。
• 実証的結果から、スナップショットとサブイテレーションに別々のADAM最適化手法を用いることで、訓練の安定性と収束速度が顕著に向上することがわかった。
• Half Cheetahにおける線形ベースラインの導入により、バリアンスが低減され、学習が加速した。評価者（critic）はスナップショット点でのみ更新された。
• 重要度重みを用いて分布シフトを補正することで、SVRPGは異なる環境において一貫したパフォーマンスを維持し、特にハイパーパrameterの微調整が最小限で済む。
• Mujocoベンチマークにおいても強力なパフォーマンスを達成し、高次元の状態・行動空間において、バランスを保ちながら前進する能力を持つエージェントを学習に成功した。