[論文レビュー] Constrained Risk-Averse Markov Decision Processes

Mohamadreza Ahmadi, Ugo Rosolia+3 more|arXiv (Cornell University)|Dec 4, 2020

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、CVaR や EVaR などの動的一貫性のあるリスク評価基準を備えた制約付きマルコフ決定過程（CMDP）に対して、ラグランジュ最適化フレームワークを提案する。この手法はリスク回避的問題を差分凸計画問題（DCP）として定式化し、体系的凸凹プログラミング（DCCP）を用いて解けるようにし、期待コスト最小化と比較して不確実性下におけるローバーのナビゲーションにおいて優れたロバスト性を示す。

ABSTRACT

We consider the problem of designing policies for Markov decision processes (MDPs) with dynamic coherent risk objectives and constraints. We begin by formulating the problem in a Lagrangian framework. Under the assumption that the risk objectives and constraints can be represented by a Markov risk transition mapping, we propose an optimization-based method to synthesize Markovian policies that lower-bound the constrained risk-averse problem. We demonstrate that the formulated optimization problems are in the form of difference convex programs (DCPs) and can be solved by the disciplined convex-concave programming (DCCP) framework. We show that these results generalize linear programs for constrained MDPs with total discounted expected costs and constraints. Finally, we illustrate the effectiveness of the proposed method with numerical experiments on a rover navigation problem involving conditional-value-at-risk (CVaR) and entropic-value-at-risk (EVaR) coherent risk measures.

研究の動機と目的

• システム制約（燃料や通信制限など）を伴うMDPにおけるリスク回避的方策の設計という課題に対処すること。
• 総期待コストを超えて、CVaR や EVaR などの一般化された一貫性のあるリスク測度へと制約付きMDPを拡張すること。
• 真の制約付きリスク回避的問題の下界を達成する部分最適方策を合成する計算的に実行可能な手法を開発すること。
• 不確実性下での実世界のロボットパスプランニングにおけるフレームワークの有効性を実証すること。
• 制約付きMDPにおける線形計画法の一般化を、リスク回避的状況へと拡張すること。

提案手法

• 制約とリスク目的関数を併存させるために、ラグランジュ双対フレームワーク内に制約付きリスク回避的MDP問題を定式化する。
• リスク目的関数と制約を、マルコフリスク遷移マッピングを用いて表現し、動的かつ時間整合的なリスク評価を可能にする。
• 最適化問題を差分凸計画問題（DCP）として再定式化し、体系的凸凹プログラミング（DCCP）による解法に適応する。
• DCCPフレームワークを用いてDCPを繰り返し解き、非凸問題の停留点に収束することを保証する。
• CVaR および EVaR リスク測度に本手法を適用し、リスク感受性意思決定において広く用いられる一貫性のある測度としての有効性を検証する。
• 得られた最適化問題を事前にオフラインで解き、リアルタイムのロボットプランニングに適用可能な方策を生成する。

実験結果

リサーチクエスチョン

• RQ1 一般化された一貫性のあるリスク測度（総期待コストを超えるもの）を対象とする制約付きMDPに対して、統一的な最適化フレームワークを構築できるか？
• RQ2 時間整合性と動的計画法の構造を保ちつつ、リスク回避的目的関数とシステム制約を一体的に最適化する方法は何か？
• RQ3 DCP定式化を用いたリスク回避的制約付きMDPの解法における計算複雑性とスケーラビリティはどの程度か？
• RQ4 異なる一貫性のあるリスク測度（CVaR と EVaR）は、不確実性環境下でのロバスト性とパフォーマンスにおいてどのように比較されるか？
• RQ5 提案手法は、不確実性下での実世界のロボットパスプランニングにおいて、従来の期待コスト最小化を上回る性能を示せるか？

主な発見

• 提案手法は、制約付きリスク回避的MDPをDCPとして明確に定式化でき、DCCPフレームワークによる解法が可能であることを示した。
• $20 \times 20$ グリッドワールドにおいて、EVaRベースの方策は100回のモンテカルロシミュレーションで2%の失敗率を達成し、CVaR（5%）および総期待値（18%）を上回った。
• EVaR方策は、その保守的な性質に起因し、より小さなグリッド（$10 \times 10$ および $15 \times 15$）でも0%の失敗率を示し、最高のロバスト性を示した。
• CVaR定式化は、EVaR（6.6秒）と比較して著しく長い計算時間（$20 \times 20$ で10.5秒）を要したが、これは計算効率に関する先行研究の結果を裏付けた。
• 計算された状態価値から、理論的順序 $\mathbb{E}(c) \leq \mathrm{CVaR}_{\varepsilon}(c) \leq \mathrm{EVaR}_{\varepsilon}(c)$ が確認された。
• EVaRおよびCVaRから導出された方策は、期待コスト方策と比較して、不確実性の高い領域においてより強く不確実な障害物を避ける傾向を示した。