[論文レビュー] A Possibilistic Model for Qualitative Sequential Decision Problems under Uncertainty in Partially Observable Environments

Régis Sabbadin|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用数 35

ひとこと要約

本稿は、部分的に観測可能な環境における不確実性下での定性的順次意思決定のための可能性的モデルを提示する。可能性分布を用いて不確実性と好みの両方を表現する。確率的POMDPとは異なり、無限の信念状態空間に悩まされない。代わりに、有限だが指数的に大きな信念状態空間を保証し、順序的好みを伴う定性的設定における取り扱い可能な推論を可能にする。

ABSTRACT

In this article we propose a qualitative (ordinal) counterpart for the Partially Observable Markov Decision Processes model (POMDP) in which the uncertainty, as well as the preferences of the agent, are modeled by possibility distributions. This qualitative counterpart of the POMDP model relies on a possibilistic theory of decision under uncertainty, recently developed. One advantage of such a qualitative framework is its ability to escape from the classical obstacle of stochastic POMDPs, in which even with a finite state space, the obtained belief state space of the POMDP is infinite. Instead, in the possibilistic framework even if exponentially larger than the state space, the belief state space remains finite.

研究の動機と目的

• 確率的POMDPが有限の状態空間にもかかわらず無限の信念状態空間を引き起こすという限界を是正すること。
• 不確実性と好みを表現するために確率論ではなく可能性理論を用いる定性的意思決定モデルの開発。
• 順序的（定性的）好みと不確実性表現を用いて、部分的観測環境における取り扱い可能な順次的意思決定を可能にすること。
• 確率的信念更新の計算的に非効率な問題を回避しつつ意思決定の質を維持するフレームワークを提供すること。
• 部分的観測下でも、定性的モデルにおいて有限の信念状態空間を達成できることを示すこと。

提案手法

• モデルは、エージェントのシステム状態に関する不確実性および結果に対する好みを、可能性分布を用いて表現する。
• 不確実性下での意思決定の可能性理論への応用を適用し、順序的設定への定性的意思決定の拡張を実現する。
• 信念状態は、行動と観測を通じて不確実性を伝搬する可能性に基づく推論規則を用いて更新される。
• 状態空間が有限であっても、状態上の可能性分布の有限集合を維持することで、順次的意思決定を支援する。
• POMDPに内在する無限の信念状態空間問題を回避するために、可能性理論の構造を活用する。
• 基数的効用値を必要とせず、順序的好み関係を用いてポリシー選択をガイドする。

実験結果

リサーチクエスチョン

• RQ1 部分的観測環境において、POMDPの無限信念状態空間問題を回避する定性的で順序的な意思決定モデルを開発できるか？
• RQ2 可能性理論を用いて、順次的意思決定問題における不確実性と好みの両方を表現できるか？
• RQ3 確率的POMDPと比較して、可能性的フレームワークにおける信念状態の維持と更新の計算複雑度はどの程度か？
• RQ4 部分的観測下でも定性的モデルで有限の信念状態空間を達成できるか。もしそうなら、どのように達成できるか？
• RQ5 可能性的モデルの性能は、確率的POMDPと比較して意思決定の質と取り扱いやすさの面で優れているか？

主な発見

• 可能性的モデルは、状態空間よりも指数的に大きなものの、有限の信念状態空間を達成する。これにより、確率的POMDPの無限信念状態空間問題が解決される。
• フレームワークは、正確な確率分布や基数的効用値を必要とせず、定性的意思決定を可能にする。
• 可能性に基づく信念状態更新を用いることで、計算的に取り扱い可能な順次的意思決定が可能になる。
• 確率的仮定が強すぎる、あるいは現実的でない状況において、POMDPの実用的代替案を提供する。
• 定性的推論が、明確な信念ダイナミクスを有する部分的観測下の順次的意思決定問題に体系的かつ一貫して適用可能であることを示す。
• モデルは可能性理論に基づいて形式的に裏付けられており、不確実性と好みを統一的で順序的な方法で取り扱う一貫したフレームワークを提供する。