[論文レビュー] Off-Policy Policy Gradient with State Distribution Correction

Yao Liu, Adith Swaminathan+2 more|arXiv (Cornell University)|Apr 17, 2019

Energy, Environment, and Transportation Policies参考文献 27被引用数 46

ひとこと要約

本論文は OPPOSD を導入する。挙動ポリシーとターゲットポリシー間の状態分布の不一致を考慮するオフポリシー方策勾配法で、収束保証とベースラインに対する経験的改善を提供します。

ABSTRACT

We study the problem of off-policy policy optimization in Markov decision processes, and develop a novel off-policy policy gradient method. Prior off-policy policy gradient approaches have generally ignored the mismatch between the distribution of states visited under the behavior policy used to collect data, and what would be the distribution of states under the learned policy. Here we build on recent progress for estimating the ratio of the state distributions under behavior and evaluation policies for policy evaluation, and present an off-policy policy gradient optimization technique that can account for this mismatch in distributions. We present an illustrative example of why this is important and a theoretical convergence guarantee for our approach. Empirically, we compare our method in simulations to several strong baselines which do not correct for this mismatch, significantly improving in the quality of the policy discovered.

研究の動機と目的

• MDPにおける逐次意思決定のためにオフラインデータを活用する動機。
• 挙動ポリシーと評価ポリシーの下での状態分布の不一致に対処する。
• 理論的保証を備えた実用的なオフポリシー方策勾配法を開発する。
• 状態分布補正を無視するベースラインに対する経験的利得を示す。

提案手法

• 勾配を補正するために状態分布比の推定に基づく。
• 楽観的でありつつ比較可能なポリシー値を保証する拡張MDP M_mu を導入。
• d^pi(s)/d^mu(s) の比を組み込んだオフポリシー方策勾配推定量を導出。
• カバレッジを保証するために滑らか化した挙動ポリシーを使用し、密度比 w(s) のRKHSベース学習を適用。
• critic、密度比推定器 w、方策勾配更新を備えた actor-critic アルゴリズム（OPPOSD）を実装。
• 標準的な仮定の下で定常点収束を示す収束結果を提供。

Figure 1: Hard example for Off-PAC (Degris et al., 2012 )

実験結果

リサーチクエスチョン

• RQ1 状態訪問分布の不一致を補正することでバッチオフポリシー方策最適化を改善できるか。
• RQ2 指数的な分散増大なしでオフポリシーデータから方策勾配を推定することは可能か。
• RQ3 ベンチマーク領域で状態分布補正は Off-PAC や他のベースラインに対して経験的利得をもたらすか。
• RQ4 提案された推定量を収束保証付きの安定な actor-critic 最適化と統合することは可能か。

主な発見

• OPPOSD は CartPole および HIV 治療シミュレータにおいて Off-PAC および挙動ポリシーより高いポリシー性能を達成する。
• 状態分布の不一致を補正することが勾配推定の質を著しく改善する。
• 密度比推定とクリティック推定の推定誤差が収束する場合、アルゴリズムは定常点へ収束する。
• 実験は、密度比補正とオフポリシー評価を組み込むことで最適化中に良好なポリシーを同定できることを示す。
• 状態分布補正は勾配推定の分散増大を過度には必要としない。

(a) CartPole-v0. Optimal policy gets a reward of 200, while the uniformly random data collection policy obtains 22.