[論文レビュー] Qualitative Possibilistic Mixed-Observable MDPs

Nicolas Drougard, Florent Teichteil-Königsbuch+2 more|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 16被引用数 3

ひとこと要約

本稿では、部分的観測を活用して計算複雑性を低減する、定性的な可能性論的混合観測MDP（pi-MOMDP）を導入する。一部の状態変数が完全に観測可能であると仮定することで、無限時間枠における最適方策を達成する価値反復アルゴリズムを提案し、曖昧な観測を伴うターゲット認識タスクにおいて、従来の確率的POMDPよりも優れた性能を示す。

ABSTRACT

Possibilistic and qualitative POMDPs (pi-POMDPs) are counterparts of POMDPs used to model situations where the agent's initial belief or observation probabilities are imprecise due to lack of past experiences or insufficient data collection. However, like probabilistic POMDPs, optimally solving pi-POMDPs is intractable: the finite belief state space exponentially grows with the number of system's states. In this paper, a possibilistic version of Mixed-Observable MDPs is presented to get around this issue: the complexity of solving pi-POMDPs, some state variables of which are fully observable, can be then dramatically reduced. A value iteration algorithm for this new formulation under infinite horizon is next proposed and the optimality of the returned policy (for a specified criterion) is shown assuming the existence of a "stay" action in some goal states. Experimental work finally shows that this possibilistic model outperforms probabilistic POMDPs commonly used in robotics, for a target recognition problem where the agent's observations are imprecise.

研究の動機と目的

• 信念空間の指数的増大に起因する、定性的な可能性論的POMDP（pi-POMDP）の解法の非効率性に対処すること。
• 一部の状態変数が完全に観測可能であることを前提として、部分的観測を活用して計算複雑性を低減すること。
• この新しいフレームワークにおける無限時間枠計画のための価値反復アルゴリズムの開発。
• 曖昧な観測を伴う現実世界のロボティクスアプリケーションにおいて、標準的な確率的POMDPよりも優れた性能を示すモデルの実証。

提案手法

• 一部の状態変数が完全に観測可能である可能性論的混合観測MDP（MOMDP）の形式化により、信念空間の複雑性を低減する。
• 確率論ではなく可能性論を用いて不確実性を表現する定性的な可能性論的フレームワークに価値反復を適応する。
• 観測されていない状態の可能性分布と、観測可能な状態の決定論的観測を組み合わせる信念更新メカニズムの採用。
• 価値反復プロセスの収束性と最適性を保証するため、ゴール状態に「滞在」アクションを導入する。
• 可能性論に基づく方策最適性の基準を定義し、ゴール状態に到達する可能性を最大化する。
• 混合観測構造を活用することで、指数的増大を回避する有限状態抽象化の採用。

実験結果

リサーチクエスチョン

• RQ1 混合観測性は、定性的な可能性論的POMDPの解法における計算複雑性を低減できるか？
• RQ2 無限時間枠のpi-MOMDPに対して、方策最適性を保証する価値反復アルゴリズムを設計可能か？
• RQ3 提案された可能性論的モデルは、現実世界の認識タスクにおいて、標準的な確率的POMDPと比較してどのように性能を発揮するか？
• RQ4 ゴール状態に「滞在」アクションを含めることで、可能性論的設定において収束性と最適性が保証されるか？

主な発見

• 提案されたpi-MOMDPフレームワークは、状態変数の部分的観測を活用することで、定性的なPOMDPの解法における複雑性を顕著に低減する。
• ゴール状態に「滞在」アクションが存在すると仮定すれば、指定された基準に基づき価値反復アルゴリズムは最適方策に収束する。
• 実験結果から、曖昧な観測を伴うターゲット認識タスクにおいて、可能性論的モデルが標準的な確率的POMDPを上回ることが示された。
• 観測データが疎であったり信頼性が低かったりする状況において、特に成功の可能性という観点で優れた性能を発揮した。