[論文レビュー] From Importance Sampling to Doubly Robust Policy Gradient

Jiawei Huang, Nan Jiang|arXiv (Cornell University)|Oct 20, 2019

Optimization and Search Problems参考文献 18被引用数 4

ひとこと要約

本稿は、オフポリシー評価（OPE）技術、特に二重に頑健（DR）推定法からポリシーグラディエント（PG）推定法を統一的枠組みで導出するものである。有限差分をDRに基づく価値推定法に適用することで、最先端の分散低減手法を包含する一般化されたPG形式を導出しており、決定的MDPにおいてはCramér-Raoの下界に近い分散を達成する。

ABSTRACT

We show that on-policy policy gradient (PG) and its variance reduction variants can be derived by taking finite difference of function evaluations supplied by estimators from the importance sampling (IS) family for off-policy evaluation (OPE). Starting from the doubly robust (DR) estimator (Jiang & Li, 2016), we provide a simple derivation of a very general and flexible form of PG, which subsumes the state-of-the-art variance reduction technique (Cheng et al., 2019) as its special case and immediately hints at further variance reduction opportunities overlooked by existing literature. We analyze the variance of the new DR-PG estimator, compare it to existing methods as well as the Cramer-Rao lower bound of policy gradient, and empirically show its effectiveness.

研究の動機と目的

• オンポリシーのポリシーグラディエントとオフポリシーの重要度サンプリング技術との間の深い理論的関係を解明すること。
• 二重に頑健（DR）OPE推定法に有限差分を適用することで、一般かつ柔軟なポリシーグラディエント推定法を導出すること。
• DR推定法の補助情報および構造的性質を活用することで、ポリシーグラディエント推定の分散を低減すること。
• 提案されたDR-PG推定法が、決定的MDPにおけるポリシーグラディエント分散のCramér-Raoの下界に近づくことを示すこと。

提案手法

• 報酬の期待値を推定する手法を重要度サンプリング（IS）ファミリーの任意のものに置き換え、その期待報酬の有限差分としてポリシーグラディエントを導出する。
• Jiang & Li (2016) の二重に頑健（DR）推定法を基盤として、新たな一般化されたポリシーグラディエント推定法を構築する。
• モデルベースの価値推定と重要度加重補正を組み合わせることで、両方の成分に誤差があっても頑健性を確保する。
• 得られたDR-PG推定法には、軌道単位の制御変数が含まれており、$ abla_{m{ heta}} ilde{Q}$ および $ ilde{G}_2$ 項を通じて勾配依存補正が可能である。
• この枠組みは、Cheng et al. (2019) の軌道単位の制御変数を特別なケースとして自然に包含する。
• 実装においては、$ heta = 0.9$、$ ho_{[0:t]}$、およびブートストラップされた価値推定法 $ ilde{V}, ilde{Q}$ といった実用的修正を導入する。

実験結果

リサーチクエスチョン

• RQ1 ポリシーグラディエント推定は、特に二重に頑健推定法を含め、オフポリシー評価推定法から体系的に導出可能か？
• RQ2 DRに基づくポリシーグラディエント推定法は、既存の最先端手法よりも低い分散を達成するか？
• RQ3 提案された枠組みは、先行研究が見逃していた新たな分散低減の機会を明らかにできるか？
• RQ4 決定的MDPにおいて、DR-PG推定法の分散はCramér-Raoの下界にどの程度近いか？
• RQ5 勾配依存補正および補助情報は、推定法の効率向上にどのような役割を果たすか？

主な発見

• DR-PG推定法は、ステップ単位のISや状態行動依存ベースラインといったベースライン手法よりも顕著に低い分散を達成する。
• 提案されたDR-PG推定法は、Cheng et al. (2019) の最先端手法を特別なケースとして包含しており、その一般性と柔軟性を確認する。
• 決定的MDPにおいて、DR-PG推定法の分散がCramér-Raoの下界に近づくことが示された。これは、近似的に最適な効率性を示している。
• $ abla_{m{ heta}} ilde{Q}$ および $ ilde{G}_2$ 項の導入により、既存の制御変数技術を上回るさらなる分散低減が可能である。
• 実験結果により、複数の環境において、DR-PG推定法がすべてのベースラインを上回るサンプル効率と分散低減性能を示した。
• 本手法は、ISとPGの間の関係が表面的ではなく、根本的であることを示しており、分散低減型PG推定法の統一的導出と分析を可能にする。