[論文レビュー] Policy Optimization as Wasserstein Gradient Flows

Ruiyi Zhang, Changyou Chen+2 more|arXiv (Cornell University)|Aug 9, 2018

Stochastic Gradient Optimization Techniques被引用数 26

ひとこと要約

この論文は強化学習における方策最適化を、確率測度の空間上での Wasserstein 勾配流れ（WGF）として定式化し、粒子に基づく数値近似を用いて分布レベルの凸最適化を可能にした。この手法は、TRPO や DDPG といった最先端のアルゴリズムと比較して、収束が速く、サンプル効率が優れている。特に、挑戦的な MuJoCo 環境において顕著な優位性を示した。

ABSTRACT

Policy optimization is a core component of reinforcement learning (RL), and most existing RL methods directly optimize parameters of a policy based on maximizing the expected total reward, or its surrogate. Though often achieving encouraging empirical success, its underlying mathematical principle on {\em policy-distribution} optimization is unclear. We place policy optimization into the space of probability measures, and interpret it as Wasserstein gradient flows. On the probability-measure space, under specified circumstances, policy optimization becomes a convex problem in terms of distribution optimization. To make optimization feasible, we develop efficient algorithms by numerically solving the corresponding discrete gradient flows. Our technique is applicable to several RL settings, and is related to many state-of-the-art policy-optimization algorithms. Empirical results verify the effectiveness of our framework, often obtaining better performance compared to related algorithms.

研究の動機と目的

• 方策最適化を確率測度の空間における勾配流れとして、厳密な数学的解釈を提供すること。
• 既存のポリシー・グラデント法における明確な分布レベル最適化原理の欠如に取り組むこと。
• Wasserstein 勾配流れを強化学習で解くための数値的に実行可能なアルゴリズムを開発すること。
• 分布レベルの凸最適化を通じて、深層強化学習におけるサンプル効率と収束速度を向上させること。
• Wasserstein幾何学の枠組みの下で、既存の信頼領域法および方策最適化法を統一的かつ一般化すること。

提案手法

• 論文は、エネルギー関数が累積報酬の期待値に一致する確率測度の空間上での Wasserstein 勾配流れ（WGF）として方策最適化を定式化した。
• 2 種類の変種を導入した：パラメータ分布上での間接的ポリシー学習と、ポリシー分布上での直接的ポリシー学習で、両者とも WGF 動的法則に従う。
• WGF 問題の離散化に JKO（Jordan-Kinderlehrer-Otto）スキームを適用し、粒子近似を用いた数値的解法を可能にした。
• Wasserstein 距離から導かれた閉形式の勾配式を用いて粒子を更新し、効率的かつ安定した最適化を実現した。
• Wasserstein 距離を用いた信頼領域的制約を組み込み、安定したポリシー更新を促進した。
• 連続密度関数の近似を可能にする粒子ベースのアルゴリズムを開発し、深層強化学習ベンチマークでの実用的実装を可能にした。

実験結果

リサーチクエスチョン

• RQ1 強化学習における方策最適化は、確率測度の空間における勾配流れとして厳密に解釈可能か？
• RQ2 ポリシー学習を Wasserstein 勾配流れとして定式化することで、凸最適化問題が得られ、収束性と安定性が向上するか？
• RQ3 粒子ベースの数値的手法は、実用的な深層強化学習応用において、連続的 WGF 動的法則を効果的に近似できるか？
• RQ4 提案された WGF ベースのフレームワークは、TRPO や DDPG といった最先端のアルゴリズムと比較して、サンプル効率と性能に優れているか？
• RQ5 WGF フレームワークは、共通の幾何的枠組みの下で、既存の信頼領域法および方策最適化法を統一的または一般化できるか？

主な発見

• IP-WGF は、Cartpole Swing-Up、ダブルパンダラム、および Cartpole タスクにおいて、SVPG よりも一貫して高速に収束し、平均報酬が高かった。
• DP-WGF-V は、MuJoCo タスクにおいて、SAC や TRPO-GAE よりもサンプル効率と最終的パフォーマンスに優れており、特に挑戦的な Humanoid 環境で顕著な優位性を示した。
• DP-WGF-V は、Hopper および Walker において、DDPG や TRPO-GAE よりも高い平均リターンを達成し、サンプル効率が最大で 2–3 倍向上した。
• バリアンス低減版である DP-WGF-V は、すべてのタスクで DP-WGF を顕著に上回り、提案された正則化の有効性を実証した。
• Humanoid においては、DDPG は良いポリシーを学習できなかったが、DP-WGF-V は安定的かつ高いパフォーマンスを達成した。これは、本手法の高次元制御におけるロバストネスを示している。
• 実験的結果により、WGF ベースの最適化が、関連するアルゴリズムよりも収束が速く、最終的なパフォーマンスが優れていることが確認され、理論的枠組みの妥当性が裏付けられた。