[論文レビュー] Policy Gradients Beyond Expectations: Conditional Value-at-Risk.

Aviv Tamar, Yonatan Glassner+1 more|arXiv (Cornell University)|Apr 15, 2014

Risk and Portfolio Optimization参考文献 26被引用数 20

ひとこと要約

本論文は、条件付き期待値としての勾配式を導出することにより、リスク感受性強化学習のための条件付きリスク価値（CVaR）最適化のための新しい方策勾配法を提案する。これにより、サンプリングに基づく推定と勾配降下法が可能となり、リスク感受性の強い強化学習が実現可能となる。本手法は、サンプル効率を向上させるための重要度サンプリング手順を用いて、Tetrisコントローラー学習タスクで検証されている。

ABSTRACT

Conditional Value at Risk (CVaR) is a prominent risk measure that is being used extensively in various domains such as finance. In this work we present a new formula for the gradient of the CVaR in the form of a conditional expectation. Our result is similar to policy gradients in the reinforcement learning literature. Based on this formula, we propose novel sampling-based estimators for the CVaR gradient, and a corresponding gradient descent procedure for CVaR optimization. We evaluate our approach in learning a risk-sensitive controller for the game of Tetris, and propose an importance sampling procedure that is suitable for such domains.

研究の動機と目的

• 不確実性下での順序的意思決定において、CVaRのための原理的勾配推定手法を開発すること。
• CVaRを尾部リスクの指標として用いることで、方策勾配強化学習をリスク感受性の目的に拡張すること。
• サンプリングに基づく推定器と勾配降下手順を用いて、CVaRの実用的最適化を可能にすること。
• CVaR目的に特化した重要度サンプリング手順を用いて、リスク感受性制御におけるサンプル効率を向上させること。

提案手法

• 標準的な方策勾配と類似する条件付き期待値としてのCVaR勾配の新しい解析的式を導出する。
• 導出された勾配式を活用して、実際の勾配を近似可能なサンプリングベースの推定器を提案する。
• 強化学習の文脈でCVaR目的を最適化するための勾配降下アルゴリズムを設計する。
• シミュレーション環境でCVaR勾配を推定する際のサンプル効率を向上させるために、重要度サンプリング手順を導入する。
• 本手法を用いてTetris環境でリスク感受性の高いコントローラーを学習させ、高分散な結果に対しても頑健であることを示す。
• 条件付き期待値構造を活用することで、リスク回避方策の安定的かつスケーラブルな最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CVaR目的の勾配は、方策勾配強化学習に適した形でどのように表現できるか？
• RQ2 新しい勾配式から導出可能なサンプリングベースの推定器は何か？ これにより実用的最適化が可能になるか？
• RQ3 CVaRに基づく強化学習において、サンプル効率を向上させるために重要度サンプリングをどのように適合させられるか？
• RQ4 本手法は、Tetrisのような高分散な結果を示す環境でも、リスク感受性の高い方策を効果的に学習できるか？
• RQ5 標準的な方策勾配手法と比較して、本手法はリスク低減の面でどの程度の性能向上を達成するか？

主な発見

• 本論文は、条件付き期待値としてのCVaRの閉形式勾配式を成功裏に導出し、勾配ベース最適化を可能にした。
• 提案されたサンプリングベースの推定器は、実際のCVaR勾配を安定的かつ効果的に近似する手段を提供した。
• 新しい式に基づく勾配降下手順により、強化学習におけるリスク回避方策の最適化が可能になった。
• 重要度サンプリング手順により、特に高分散環境において、CVaR勾配の推定におけるサンプル効率が向上した。
• 本手法は、Tetrisコントローラーの学習において、まれだが高コストな失敗結果に対しても頑健であることを示した。
• 実験的結果から、CVaR性能という指標で、標準的な方策勾配手法と比較して本手法が尾部リスクを効果的に低減していることが示された。