[論文レビュー] Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach

Yinlam Chow, Aviv Tamar+2 more|arXiv (Cornell University)|Jun 6, 2015

Risk and Portfolio Optimization参考文献 25被引用数 101

ひとこと要約

本稿では、リスク感受性とロバスト意思決定を統合する新しいCVaR最適化フレームワークを提案する。CVaRは、制限された誤差予算内でのモデル摂動の最悪ケース下での期待コストとして解釈され、マルコフ決定過程（MDPs）に適用される。収束が保証され、有限時間内での誤差バウンドを有する近似価値反復アルゴリズムを導入し、数千の状態を持つ非自明なMDPsにおいてグローバル最適ポリシーの計算を可能にする。

ABSTRACT

In this paper we address the problem of decision making within a Markov decision process (MDP) framework where risk and modeling errors are taken into account. Our approach is to minimize a risk-sensitive conditional-value-at-risk (CVaR) objective, as opposed to a standard risk-neutral expectation. We refer to such problem as CVaR MDP. Our first contribution is to show that a CVaR objective, besides capturing risk sensitivity, has an alternative interpretation as expected cost under worst-case modeling errors, for a given error budget. This result, which is of independent interest, motivates CVaR MDPs as a unifying framework for risk-sensitive and robust decision making. Our second contribution is to present an approximate value-iteration algorithm for CVaR MDPs and analyze its convergence rate. To our knowledge, this is the first solution algorithm for CVaR MDPs that enjoys error guarantees. Finally, we present results from numerical experiments that corroborate our theoretical findings and show the practicality of our approach.

研究の動機と目的

• CVaR最小化が、与えられた誤差予算内での遷移確率の摂動に対する最悪ケース期待コストに等価であることを示すことにより、MDPsにおけるリスク感受性とロバスト意思決定を統合すること。
• 有限時間内での誤差保証を提供する計算的に実行可能なアルゴリズムを設計し、CVaR MDPを解くこと。
• 従来のCVaR MDP手法が直面する連続的拡張状態空間の課題を、補間に基づく近似価値反復によって克服すること。
• 大規模グリッドワールド計画問題における実用性とスケーラビリティを実証すること。
• mean-CVaR目的関数へのフレームワークの拡張と、収束保証付きのベルマン再帰の提供すること。

提案手法

• リスク測度の信頼水準を表す連続的補助変数を用いた状態拡張により、CVaR MDPを定式化する。
• 制限された誤差予算内での遷移確率の摂動の最悪ケースを捉えるリスクエンvelopeに基づき、CVaR MDPのベルマン方程式を導出する。
• 連続的変数を扱うために、拡張状態空間における線形補間を組み合わせた近似価値反復アルゴリズムを提案する。
• 明示的な誤差バウンドを伴う収縮型収束解析を確立し、有限時間内にグローバル最適ポリシーに収束することを証明する。
• 二重次元のリスクエンvelopeと合成リスク作用素を導入することで、mean-CVaR目的関数へのフレームワークの拡張を実現する。
• 複数のCVaR信頼水準を統合する線形作用素Sλを用い、平均と尾部リスクの両方を同時に最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 MDPsにおけるCVaR最小化は、最悪ケースのモデル摂動下でのロバスト最適化として解釈可能か？
• RQ2 連続的状態拡張が行われるにもかかわらず、CVaR MDP用の価値反復アルゴリズムが有限時間内に誤差バウンドを保証できるか？
• RQ3 提案された補間ベースのアルゴリズムは、従来手法と比較して計算複雑性と収束速度の面でどのように異なるか？
• RQ4 収束保証付きで、mean-CVaRのような多目的リスク測度へフレームワークを拡張可能か？
• RQ5 数千の状態を持つ大規模計画問題におけるアルゴリズムの実効的性能はいかがなものか？

主な発見

• 摂動が与えられた誤差予算内で制限されている限り、MDPにおける割引コストのCVaRは、遷移確率の最悪ケース摂動下での期待コストに数学的に等価である。
• 提案された近似価値反復アルゴリズムは、$ \frac{\gamma^n}{1-\gamma}(C_{\text{max}} + \|Z\|_\infty) $ の形をした有限時間誤差バウンドを有し、グローバル最適ポリシーに収束する。ここで $ \gamma $ は割引率、$ Z $ は初期コスト確率変数である。
• 従来手法が漸近的収束または非凸計画問題の解法を必要とするのに対し、本手法は明示的な誤差保証を伴う収束を達成する。
• 数千の状態を持つグリッドワールドにおける数値実験により、アルゴリズムの実用性とスケーラビリティが確認され、グローバル最適ポリシーの計算が可能であることが示された。
• 新しいベルマン再帰と合成リスクエンvelopeを用いたmean-CVaR目的関数への拡張は、固定点解が一意的かつ最適であることを証明する。
• アルゴリズムは、すべてのCVaR信頼水準と初期状態を同時に最適ポリシー計算可能であり、各信頼水準ごとの計算と比較して著しく効率が向上する。