[論文レビュー] Policy Gradients for CVaR-Constrained MDPs

L. A. Prashanth|arXiv (Cornell University)|May 12, 2014

Risk and Portfolio Optimization参考文献 15被引用数 4

ひとこと要約

本稿では、リスク制約付き確率的最短経路問題に対して、リスク指標として条件付きリスク価値（CVaR）を用いた2つの方策勾配アルゴリズムを提案する。確率的近似、ミニバッチ、重要度サンプリング、および尤度比法を組み合わせることで、期待コストとCVaR制約の両方の最適化において漸近的収束を達成し、稀な事象の推定における分散低減を実現する。

ABSTRACT

We study a risk-constrained version of the stochastic shortest path (SSP) problem, where the risk measure considered is Conditional Value-at-Risk (CVaR). We propose two algorithms that obtain a locally risk-optimal policy by employing four tools: stochastic approximation, mini batches, policy gradients and importance sampling. Both the algorithms incorporate a CVaR estimation procedure, along the lines of Bardou et al. [2009], which in turn is based on Rockafellar-Uryasev's representation for CVaR and utilize the likelihood ratio principle for estimating the gradient of the sum of one cost function (objective of the SSP) and the gradient of the CVaR of the sum of another cost function (in the constraint of SSP). The algorithms differ in the manner in which they approximate the CVaR estimates/necessary gradients - the first algorithm uses stochastic approximation, while the second employ mini-batches in the spirit of Monte Carlo methods. We establish asymptotic convergence of both the algorithms. Further, since estimating CVaR is related to rare-event simulation, we incorporate an importance sampling based variance reduction scheme into our proposed algorithms.

研究の動機と目的

• 確率的最短経路（SSP）問題におけるリスク感受性の強い強化学習を、リスク指標として条件付きリスク価値（CVaR）を用いて取り扱う。
• 期待コストを最小化するとともに、CVaRに基づくリスク制約を満たす最適化アルゴリズムを開発する。
• 特に稀な事象のシナリオにおいて、CVaR推定におけるサンプル効率の向上と分散低減を図る。
• CVaR制約下での方策勾配法に対して理論的収束保証を確立する。

提案手法

• 期待コストおよびコスト関数のCVaRの勾配推定に、尤度比原理を適用する。
• Rockafellar-UryasevのCVaR表現を用いることで、方策勾配フレームワーク内での微分可能かつ効率的な推定を可能にする。
• CVaR推定の安定性と精度を向上させるために、重要度サンプリングに基づく分散低減スキームを導入する。
• 2つの変種を提案：1つはオンライン勾配更新に確率的近似を用いるもの、もう1つはモンテカルロ法にインspiredされたミニバッチを用いるもの。
• ミニバッチサンプリングを適用して勾配推定を安定化させ、高分散環境下での収束を改善する。
• 方策勾配更新と、Bardouら（2009）のCVaR推定手順を統合し、一貫性のあるリスクに配慮した最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 方策勾配法は、確率的最短経路問題において期待コストとCVaR制約の両方を最適化するために、どのように適合可能か？
• RQ2 確率的近似とミニバッチサンプリングを用いる場合、CVaR制約付き方策学習の収束性と安定性にどのような影響を与えるか？
• RQ3 稀な事象のコスト結果を扱う際、CVaR推定の分散をどのように低減できるか？
• RQ4 CVaR制約下での方策勾配法に対して、理論的漸近的収束を確立できるか？

主な発見

• 提案されたアルゴリズムは、やや弱い正則性条件のもとで漸近的収束を達成し、信頼性の高い方策最適化を保証する。
• 重要度サンプリングの適用により、CVaR推定の分散が顕著に低減され、サンプル効率が向上する。
• 確率的近似とミニバッチの両方の変種が、リスク制約付きMDPにおいて安定した学習ダイナミクスを示す。
• Rockafellar-Uryasevの表現によるCVaR推定の統合により、微分可能かつスケーラブルなリスクに配慮した方策学習が可能になる。
• アルゴリズムは、期待コストの最小化とCVaRに基づくリスク制約の遵守の両方を効果的にバランスさせる。