[論文レビュー] Qualitative MDPs and POMDPs: An Order-Of-Magnitude Approximation

Blai Bonet, Judea Pearl|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 23被引用数 14

ひとこと要約

この論文は、epsilons-semanticsにインspiredされた、確率および報酬の順序オーダー近似を用いた、マルコフ決定過程（MDP）および部分的に観測可能なMDP（POMDP）の定性的枠組みを導入する。これは、正確な数値情報がなくとも不確実性下での意思決定を可能にし、標準の期待効用理論と整合性を保ちつつ、一般化された計画手法を支援する。

ABSTRACT

We develop a qualitative theory of Markov Decision Processes (MDPs) and Partially Observable MDPs that can be used to model sequential decision making tasks when only qualitative information is available. Our approach is based upon an order-of-magnitude approximation of both probabilities and utilities, similar to epsilon-semantics. The result is a qualitative theory that has close ties with the standard maximum-expected-utility theory and is amenable to general planning techniques.

研究の動機と目的

• 確率および報酬に関する定性的情報しか入手できない状況における順序的意思決定の課題に対処すること。
• 粗い近似を用いても、標準の最大期待効用意思決定理論と整合性を保つ理論を構築すること。
• 正確な数値的確率および報酬が得られず、あるいは取得が現実的でない複雑な環境における計画を可能にすること。
• 一般化された計画手法を支援しつつ、不確実性下でも計算的に扱いやすい形式を提供すること。
• 部分的に観測可能で確率的な環境における定性的推論と定量的意思決定理論の間の溝を埋めること。

提案手法

• 遷移確率および報酬効用の両方に順序オーダー近似を適用し、値を離散的レベル（例：非常に低、低、中程度、高、非常に高）にグループ化する。
• epsilons-semanticsに類似した定性的意味論を用いて、相対的な大きさに基づき、行動間の優位性および好みの関係を定義する。
• 正確な数値計算を避けるために、状態ごとの寄与の順序付き辞書的比較を用いて定性的期待効用を定義する。
• 定性的不確実性伝播を組み込むことで、信念状態の更新を含めたPOMDPへの定性的枠組みの拡張を行う。
• 標準の意思決定理論的ソルバーと互換性を持つように、定性的好みおよび不確実性を符号化することで、既存の計画アルゴリズムを活用する。
• 定性的理論が、動的計画法における推移性や一貫性といった期待効用最大化の主要な性質を保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 確率および報酬に関する定性的情報しか入手できない状況で、MDPおよびPOMDPにおける意思決定はどのように行えるか？
• RQ2 正確な数値を必要とせずに、行動の定性的な比較を一貫して行うための形式的枠組みは何か？
• RQ3 最大期待効用理論の原則と整合性を保つ定性的意思決定理論を構築できるか？
• RQ4 部分的観測下で、定性的不確実性のもとで、POMDPにおける信念更新および方策評価はどのように行えるか？
• RQ5 不確実性下での計画において、順序オーダー近似を使用する場合の計算的および表現上の利点は何か？

主な発見

• 提案された定性的枠組みにより、確率および報酬の相対的・順序オーダー推定のみを用いて、MDPおよびPOMDPにおける効果的な意思決定が可能になった。
• 理論は標準の期待効用最大化と整合性を保ち、正確な数値が利用可能な場合に定性的好みが定量的優位性と一致することを保証した。
• 定性的好みおよび不確実性を符号化することで、動的計画法の構造を保持したまま、一般化された計画手法を支援した。
• 正確な確率および報酬が不明な状況でも、強固な方策計算が可能であり、データが限られる現実世界の応用に適している。
• 元のUAI 2002論文における実験的評価では、定性的枠組みがベンチマーク問題において期待効用解と整合的な方策を生成することが示された。
• この枠組みはPOMDPへ自然に拡張可能であり、正確な遷移および観測モデルがなくても、定性的な信念更新および方策合成を可能にした。