[論文レビュー] Distributionally Robust Counterpart in Markov Decision Processes

P. L. Yu, Huan Xu|arXiv (Cornell University)|Jan 29, 2015

Risk and Portfolio Optimization参考文献 19被引用数 4

ひとこと要約

本稿は、分布的に頑健なマルコフ決定過程（MDP）を一般化し、ambiguous set の構造をネストされた集合に限定せず、非交差および線形制約付きの分布を含めるように拡張することで、パrameterの不確実性をより柔軟にモデル化することを目的としている。提案手法は、一般化されたambiguous set内での最悪分布における期待性能を最大化する頑健な方策を計算するために後退帰納法を用い、多項式時間で解けることを保証するとともに、シミュレーション研究において先行の頑健および分布的に頑健な手法を上回る性能を示している。

ABSTRACT

This paper studies Markov Decision Processes under parameter uncertainty. We adapt the distributionally robust optimization framework, and assume that the uncertain parameters are random variables following an unknown distribution, and seeks the strategy which maximizes the expected performance under the most adversarial distribution. In particular, we generalize previous study \cite{xu2012distributionally} which concentrates on distribution sets with very special structure to much more generic class of distribution sets, and show that the optimal strategy can be obtained efficiently under mild technical condition. This significantly extends the applicability of distributionally robust MDP to incorporate probabilistic information of uncertainty in a more flexible way.

研究の動機と目的

• 固定された最悪ケース仮定を超えた確率的情報を組み込むことで、MDPにおけるパrameterの不確実性に対処すること。
• 先行研究で用いられた制限的なネストされた集合に限定されない、分布的に頑健なMDPフレームワークの拡張。
• 非交差および線形制約付きの分布を含む一般化されたambiguous setに対して、解法が実行可能である手法の開発。
• 混合ガウス分布および多モーダル不確実性を伴う機械交換およびルート計画問題などの実用的問題において、性能の向上を示すこと。
• より豊かな確率的事前知識を用いて、順次確率的システムにおけるより現実的で頑健な意思決定を可能にすること。

提案手法

• 本稿は[18]にインspiredされた一般化されたambiguous setのクラスを導入し、不確実パラメータのためのネストされたおよび非交差の信頼領域を両方可能としている。
• モーメント制約および確率の境界を用いてambiguous setをモデル化し、平均、分散、その他の統計的情報を組み込むことを可能としている。
• ambiguous set内の最悪分布における期待報酬を最大化する分布的に頑健な方策を計算するためのベルマン型後退帰納法アルゴリズムを開発した。
• 双対性および凸最適化技術を活用することで、ややきつい技術的条件下で、頑健MDPを実行可能な線形計画問題に変換している。
• 一般化されたambiguous setを用いた有限時限および無限時限（割引付き）MDPの両方をサポートしている。
• 多モーダル不確実性を効率的に処理するため、例えば混合ガウス分布をモデル化するのに適した非交差信頼区間を許容している。

実験結果

リサーチクエスチョン

• RQ1 分布的に頑健なMDPは、ネスト構造に制限されないambiguous setへ拡張可能であり、多モーダルなパラメータ分布のより良いモデル化が可能となるか？
• RQ2 平均、分散、信頼区間などの確率的情報は、MDPのambiguous setに体系的に組み込まれるか？
• RQ3 より一般化されたambiguous setを用いた場合でも、得られる分布的に頑健なMDP問題は計算的に実行可能か？
• RQ4 提案手法は、パラメータ不確実性下での期待性能において、ノーマル、頑健、および先行の分布的に頑健なMDP手法を上回るか？
• RQ5 一般化されたambiguous setフレームワークは、混合ガウス報酬分布に見られるような現実世界の不確実性パターンを効果的にモデル化できるか？

主な発見

• 混合ガウス報酬を伴う機械交換問題において、提案手法はノーマル、頑健、および先行の分布的に頑健な戦略を上回り、平均割引報酬が-1.9×10⁻³を達成したのに対し、頑健アプローチでは-2.9×10⁻³であった。
• ルート計画問題において、ジャンプ確率の非交差信頼区間を用いた本手法は、λの全範囲にわたり、他のすべての戦略を一貫して上回り、多モーダル不確実性に対して優れた頑健性を示した。
• 提案手法の計算時間は他の頑健手法と同等であり、機械交換問題で820秒、ルート計画問題で654秒を要した。これは実用的な効率性を示している。
• 本手法は、非交差信頼集合を許容することで、混合ガウス分布のような多モーダル分布を効果的にモデル化でき、先行のネストされた集合アプローチでは効果的に処理できない。
• ややきつい技術的条件下でも、後退帰納法アルゴリズムは計算的に実行可能であり、一般化された分布的に頑健なMDPを多項式時間で解ける。
• シミュレーション結果は、柔軟なambiguous setによるより豊かな確率的情報の組み込みが、不確実性下での順次意思決定において、より効果的で、かつより保守的でない方策をもたらすことを確認した。