[論文レビュー] Algorithms for CVaR Optimization in MDPs

Yinlam Chow, Mohammad Ghavamzadeh|arXiv (Cornell University)|Jun 12, 2014

Risk and Portfolio Optimization参考文献 30被引用数 67

ひとこと要約

本稿では、マルコフ決定過程（MDPs）における平均-CAVar最適化のためのポリシー勾配法およびアーキテクチャ・クリティカル（actor-critic）アルゴリズムを提案し、リスクセンシティブな目的関数のための新しい勾配式を導出する。本研究では、局所的に最適なポリシーへの収束を確立し、非自明な最適停止問題において有効性を示す。インクリメンタルおよびトラジェクトリーベースの推定手法を用い、厳密な理論的保証を提供する。これにより、先行研究を拡張し、収束証明を提供するとともに、離散的および連続的損失分布の両方への応用範囲を広げた。

ABSTRACT

In many sequential decision-making problems we may want to manage risk by minimizing some measure of variability in costs in addition to minimizing a standard criterion. Conditional value-at-risk (CVaR) is a relatively new risk measure that addresses some of the shortcomings of the well-known variance-related risk measures, and because of its computational efficiencies has gained popularity in finance and operations research. In this paper, we consider the mean-CVaR optimization problem in MDPs. We first derive a formula for computing the gradient of this risk-sensitive objective function. We then devise policy gradient and actor-critic algorithms that each uses a specific method to estimate this gradient and updates the policy parameters in the descent direction. We establish the convergence of our algorithms to locally risk-sensitive optimal policies. Finally, we demonstrate the usefulness of our algorithms in an optimal stopping problem.

研究の動機と目的

• MDPsにおける平均-CAVar目的関数の最適化を通じて、リスクセンシティブな逐次的意思決定を扱う。これは、期待コストと尾部リスクのバランスを取る。
• ポリシーのパラメータ更新のための、平均-CAVar目的関数の閉形式勾配を導出する。
• インクリメンタルまたはトラジェクトリーベースの勾配推定が可能な、ポリシー勾配およびアーキテクチャ・クリティカルアルゴリズムの両方を開発する。
• 提案されたアルゴリズムが、局所的にリスクセンシティブな最適ポリシーに漸近的に収束することを確立する。
• 非自明な最適停止問題において、アルゴリズムの実用的有用性を示す。

提案手法

• ポリシーの価値関数およびアドバンテージ関数を用いて、平均-CAVar目的関数の勾配を導出。これにより、ポリシーのパラメータ更新が可能になる。
• 訪問頻度（状態-行動訪問頻度）の観点から、占有測度および期待報酬の定式化を用いて、勾配を状態-行動訪問頻度の観点で表現する。
• ポリシー勾配およびアーキテクチャ・クリティカルフレームワークで使用可能な、インクリメンタルおよびトラジェクトリーベースの勾配推定器を提案する。
• 常微分方程式（ODE）アプローチを用いて、アルゴリズムの漸近的収束を証明する。
• 関数近似（例：基底関数を用いた線形関数近似）を用いた価値関数近似のための射影方程式定式化を導入する。
• アドバンテージ関数の分解を用いて、勾配をポリシーの対数微分および行動価値関数の観点から表現する。

実験結果

リサーチクエスチョン

• RQ1 MDPsにおける平均-CAVar目的関数の勾配を、ポリシー最適化のための解析的に導出するにはどうすればよいか？
• RQ2 収束保証を伴う平均-CAVar最適化のためのポリシー勾配およびアーキテクチャ・クリティカルアルゴリズムを設計できるか？
• RQ3 インクリメンタル推定とトラジェクトリーベース推定の両手法は、性能および分散低減の観点でどのように比較されるか？
• RQ4 確率的近似の下で、提案されたアルゴリズムの理論的収束挙動はいかなるものか？
• RQ5 提案手法は、最適停止のような実用的リスクセンシティブ制御タスクにおいて、どのように性能を発揮するか？

主な発見

• 本稿では、平均-CAVar目的関数の閉形式勾配表現を導出し、ポリシー勾配法によるポリシーのパラメータ更新が可能になった。
• 提案されたポリシー勾配およびアーキテクチャ・クリティカルアルゴリズムは、ODEアプローチを用いて、局所的にリスクセンシティブな最適ポリシーに漸近的に収束することが保証された。
• アルゴリズムは、離散的および連続的損失分布の両方をサポートしており、先行研究が連続的ケースに限定されていたのを拡張した。
• アーキテクチャ・クリティカルバージョンは、標準的なポリシー勾配法と比較して分散を低減し、サンプル効率を向上させた。
• トラジェクトリーベースおよびインクリメンタル推定手法の両方が有効であり、後者はオンライン学習を可能にした。
• 最適停止問題における実験結果から、提案手法の実用的有用性および頑健性が確認された。