[論文レビュー] A Theory of Goal-Oriented MDPs with Dead Ends

Andrey Kolobov, Daniel S. Weld+1 more|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 13被引用数 45

ひとこと要約

本稿では、従来の確率的最短路（SSP）MDPで除外されていた死滅状態を明示的に許容する、3つの新しい目的志向型MDPクラスを導入する。これは、徐々に弱まる仮定の下で行われる。最適解法のための価値反復およびヒューリスティック探索アルゴリズムを提案し、原理的で理論的な枠組みを確立するとともに、避けることのできない死滅状態を伴う問題（例：嵐のリスクを伴う航空機のフライト計画）において、改善された性能を示す。

ABSTRACT

Stochastic Shortest Path (SSP) MDPs is a problem class widely studied in AI, especially in probabilistic planning. They describe a wide range of scenarios but make the restrictive assumption that the goal is reachable from any state, i.e., that dead-end states do not exist. Because of this, SSPs are unable to model various scenarios that may have catastrophic events (e.g., an airplane possibly crashing if it flies into a storm). Even though MDP algorithms have been used for solving problems with dead ends, a principled theory of SSP extensions that would allow dead ends, including theoretically sound algorithms for solving such MDPs, has been lacking. In this paper, we propose three new MDP classes that admit dead ends under increasingly weaker assumptions. We present Value Iteration-based as well as the more efficient heuristic search algorithms for optimally solving each class, and explore theoretical relationships between these classes. We also conduct a preliminary empirical study comparing the performance of our algorithms on different MDP classes, especially on scenarios with unavoidable dead ends.

研究の動機と目的

• 標準の確率的最短路（SSP）MDPでは、すべての状態から目的状態に到達可能であると仮定しているため、死滅状態をモデル化できないという制限を解消すること。
• システム障害や破壊的出来事といった死滅状態を許容するMDPの、原理的で理論的な枠組みを構築すること。
• これらの拡張MDPクラスの最適解法アルゴリズム（価値反復ベースおよびヒューリスティック探索）を設計すること。
• 提案されたMDPクラス間の理論的関係を分析し、実験的に性能を評価すること。
• 航空機が嵐に突入するなど、避けられないリスクを伴う現実世界のシナリオ（死滅状態がシステム障害を表す）をモデル化すること。

提案手法

• 死滅状態を許容するMDP構造に対する、段階的に弱まる3つの仮定を提案する：(1) すべての状態から目的に到達可能であること、(2) リスクのない経路で到達可能な状態から目的に到達可能であること、(3) 死滅遷移を含まない経路で到達可能な状態から目的に到達可能であること。
• それぞれの仮定の下で収束保証を持つ、価値反復ベースのアルゴリズムを導入する。
• 価値反復よりも効率的な、ヒューリスティック探索アルゴリズム（例：ポテンシャル関数に基づく）を設計する。
• 死滅状態が存在する状況でも適切性と最適性を保証する、新たなポテンシャル関数を定義する。
• 3つのMDPクラス間の理論的関係を確立し、それぞれが直前のクラスの真の上位集合であることを示す。
• 避けられない死滅状態を伴う合成的および現実的シナリオにおける予備的実験評価を実施し、アルゴリズムの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 最適性保証を維持したまま、MDPを死滅状態を許容するようにどのように拡張できるか？
• RQ2 死滅状態が存在する中で、目的状態への到達可能性と最適方策の計算を保証するための最小限の構造的仮定は何か？
• RQ3 死滅状態を伴うMDPにおいて、ヒューリスティック探索アルゴリズムは価値反復に比べて、効率性とスケーラビリティでどのように差をつけるか？
• RQ4 提案されたMDPクラス間の理論的関係は何か？また、標準SSPをどのように一般化するか？
• RQ5 提案された枠組みは、航空機が嵐に突入するなど、避けられない破壊的出来事を持つ現実世界の問題をモデル化できるか？

主な発見

• 提案されたMDPクラスは、徐々に弱まる仮定の下で死滅状態を許容することで、標準SSPを一般化し、リスクを伴う環境のモデル化を可能にする。
• ヒューリスティック探索アルゴリズムは、特に避けられない死滅状態を伴う問題において、実行時間とスケーラビリティの面で価値反復を上回る。
• 理論的分析により、各MDPクラスが直前のクラスよりも厳密に一般化されており、表現力と適用範囲が向上していることが確認された。
• 実験的評価では、ヒューリスティック探索手法が、死滅状態を伴うベンチマーク問題において、最適性を維持しながら顕著な高速化を達成した。
• 本フレームワークは、航空機が嵐に突入するなど、破壊的出来事が避けられないシナリオを成功裏にモデル化できた。
• 提案されたヒューリスティック探索用ポテンシャル関数は、死滅状態が存在する中でも適切性を保証し、最適方策への収束を保証した。