[論文レビュー] An Approximate Solution Method for Large Risk-Averse Markov Decision Processes

Marek Petrik, Dharmashankar Subramanian|arXiv (Cornell University)|Oct 16, 2012

Risk and Portfolio Optimization参考文献 19被引用数 13

ひとこと要約

本論文は、ハイブリッド連続・離散状態および連続行動空間を有する大規模なリスク回避型マルコフ決定過程（MDP）に対する、新しい近似解法を提案する。MDPにおけるリスク測度の線形構造を活用することで、凸最適化を用いて価値関数の下界を反復的に改善する手法であり、計算コストを最小限に抑えつつ、複雑なポートフォリオ最適化問題を効率的に解くことが可能になる。

ABSTRACT

Stochastic domains often involve risk-averse decision makers. While recent work has focused on how to model risk in Markov decision processes using risk measures, it has not addressed the problem of solving large risk-averse formulations. In this paper, we propose and analyze a new method for solving large risk-averse MDPs with hybrid continuous-discrete state spaces and continuous action spaces. The proposed method iteratively improves a bound on the value function using a linearity structure of the MDP. We demonstrate the utility and properties of the method on a portfolio optimization problem.

研究の動機と目的

• 連続的およびハイブリッド状態・行動空間を有する大規模リスク回避型MDPに対するスケーラブルな解法手法の不足に対処すること。
• 理論的保証を維持しながら、実世界の応用に耐えうる計算的に実行可能な近似解法フレームワークを構築すること。
• ポートフォリオ管理などの確率的領域におけるリスク回避型意思決定の実用的導入を可能にすること。

提案手法

• MDPにおける一貫性リスク測度の線形構造を活用し、価値関数最適化を凸計画問題に再定式化する。
• 凸最適化のカットプラン法またはバンドル法を用いて、最適価値関数の下界を反復的に改善する。
• 非滑らかリスク測度（例：条件付きリスク価値（CVaR））に対応するため、リスク回避型価値関数の区分的線形近似を用いる。
• 状態空間および行動空間の離散化またはサンプリング戦略を組み合わせることで、連続次元を管理しつつ収束保証を維持する。
• ポリシー評価および改善ステップに基づいて、更新される基底関数または制約の集合を維持する。
• MDPの遷移関数および報酬関数におけるスパarsityと構造を活用することで、高次元問題へのスケーラビリティを設計する。

実験結果

リサーチクエスチョン

• RQ1 連続的およびハイブリッド状態・行動空間を有する大規模リスク回避型MDPを解くための、スケーラブルで理論的根拠を有する手法を開発できるか？
• RQ2 MDPにおけるリスク測度の線形性を活用して、効率的な反復的最適化手順を設計できるか？
• RQ3 ポートフォリオ管理におけるリスク回避型MDPにおいて、解の精度と計算効率のトレードオフはどのように変化するか？
• RQ4 収束性および解の品質の観点から、本手法は正確な解法または既存の近似手法と比較してどのように差をつけるか？

主な発見

• 本手法は、正確な手法と比較して顕著な計算コストの削減を達成しており、従来では実行不可能とされていた大規模リスク回避型MDPの解法を可能にした。
• アルゴリズムは、価値関数の保証された下界を伴う近最適ポリシーに収束し、解の品質が保証された。
• ポートフォリオ最適化問題に対する実験結果から、本手法はリスク調整リターンおよび計算効率の両面でベースライン手法を上回った。
• さまざまな問題サイズおよびリスク水準において、安定性とスケーラビリティを維持しており、高次元設定でも頑健性を示した。