[論文レビュー] Stein Variational Policy Gradient

Yang Liu, Prajit Ramachandran+2 more|arXiv (Cornell University)|Apr 7, 2017

Reinforcement Learning in Robotics参考文献 25被引用数 65

ひとこと要約

SVPGはポリシー勾配と Stein variational gradient descent を組み合わせて、多様な高性能ポリシーの集合を維持し、連続制御タスクにおけるデータ効率とロバスト性を標準の REINFORCE および A2C より改善します。

ABSTRACT

Policy gradient methods have been successfully applied to many complex reinforcement learning problems. However, policy gradient methods suffer from high variance, slow convergence, and inefficient exploration. In this work, we introduce a maximum entropy policy optimization framework which explicitly encourages parameter exploration, and show that this framework can be reduced to a Bayesian inference problem. We then propose a novel Stein variational policy gradient method (SVPG) which combines existing policy gradient methods and a repulsive functional to generate a set of diverse but well-behaved policies. SVPG is robust to initialization and can easily be implemented in a parallel manner. On continuous control problems, we find that implementing SVPG on top of REINFORCE and advantage actor-critic algorithms improves both average return and data efficiency.

研究の動機と目的

• 強化学習におけるより頑健でデータ効率の高いポリシー最適化の必要性を動機づける。
• 探索を促進するためのポリシーパラメータ上の最大エントロピーフレームワークを提案する。
• SVPGを導入して勾配情報を共同で活用し、分粒の多様性を反発させる。
• 連続制御ベンチマークにおけるSVPGの性能と頑健性の向上を示す。

提案手法

• ポリシー事項を分布 q(θ) と事前分布 q0(θ) を持つモデルとして、E_q[J(θ)] + α H(q) を最大化する。
• 事後形 q(θ) ∝ exp(J(θ)/α) q0(θ) を導出し、αを温度制御として解釈する。
• Stein Variational Gradient Descent (SVGD) を適用して、一組の粒子 θ_i を反復的に輸送し q(θ) を近似する。
• 対数似度の勾配と反発カーネル項を組み合わせた SVGD 更新を用いて多様性を維持する： φ*(θ) = E_θ~ρ[∇log q(θ) k(θ,·) + ∇_θ k(θ,·)]。
• SVPGを SVGD の更新で ∇log q を ∇θ[(1/α)J(θ) + log q0(θ)] に置換することで、結合したポリシー勾配と反発項を得る。
• 探索と利用のバランスを取るため α のアニーリングを提供する。
• REINFORCE と A2C の上に SVPG を適用して、連続制御タスクにおけるデータ効率と頑健性を改善する。

実験結果

リサーチクエスチョン

• RQ1 ポリシーパラメータの分布的でエントロピー正則化された見方は、探索と学習の安定性を向上させるか。
• RQ2 SVGD ベースのポリシーパラメータ最適化は、単一ポリシー更新と比較して多様で高性能なポリシーを生み出すか。
• RQ3 SVPG は標準的なポリシー勾配法（REINFORCE, A2C）と組み合わせた場合、連続制御ベンチマークでどう機能するか。
• RQ4 SVPG における温度パラメータ α が探索-利用のトレードオフに与える影響は何か。

主な発見

Task	A2C Joint Best Return	A2C Joint Episodes	A2C Independent Best Return	A2C Independent Episodes	SVPG Best Return	SVPG Episodes
Cartpole Swing Up	308.71	189	419.62	474	436.84	171
Double Pendulum	-938.73	46	-256.64	638	-244.85	199

• SVPG は連続制御タスクにおいて REINFORCE および A2C の上に追加すると平均リターンとデータ効率を改善する。
• SVPG は初期化の違いを越えて頑健な性能を示し、Joint 更新より分散が小さく、Independent 更新と比較して多様性も競合的である。
• SVPG は状態訪問パターンが多様な複数の強力なポリシーを発見し、パラメータ空間の探索が効果的であることを示す。
• 中間的な α は探索と利用のバランスを取り、高すぎるまたは低すぎる温度よりも良い性能を支持する。
• SVPG の並列非パラメトリック粒子更新は、既存のポリシー最適化フレームワークと拡張してスケーラブルに統合できる。