[論文レビュー] What is Decidable about Partially Observable Markov Decision Processes with {\omega}-Regular Objectives

Krishnendu Chatterjee, Martin Chmelík+1 more|arXiv (Cornell University)|Sep 11, 2013

Formal Methods in Verification参考文献 25被引用数 16

ひとこと要約

本稿は、部分的に観測可能なマルコフ意思決定過程（POMDPs）におけるω-正則目的、特にパリティ目的に関して、有限記憶戦略下での定性的分析の決定可能性と最適な複雑度を確立する。ほぼ確実に勝つ問題および正の勝利問題がEXPTIME完全であることを証明し、最適な指数的記憶境界を持つアルゴリズムを提示し、このクラスの問題に関して長年の決定不能性の結果を解消する。

ABSTRACT

We consider partially observable Markov decision processes (POMDPs) with ω-regular conditions specified as parity objectives. The qualitative analysis problem given a POMDP and a parity objective asks whether there is a strategy to ensure that the objective is satisfied with probability 1 (resp. positive probability). While the qualitative analysis problems are known to be undecidable even for very special cases of parity objectives, we establish decidability (with optimal EXPTIMEcomplete complexity) of the qualitative analysis problems for POMDPs with all parity objectives under finite-memory strategies. We also establish optimal (exponential) memory bounds.

研究の動機と目的

• POMDPsにおけるω-正則目的、特にパリティ目的に関して、長年の決定不能性の問題を解決すること。
• 有限記憶戦略が定性的分析問題を決定可能かつ効率的に解けるかどうかを特定すること。
• ほぼ確実に勝つ戦略および正の勝利戦略の存在に関する、明確な複雑度境界（具体的にはEXPTIME完全性）を確立すること。
• パリティ目的を有するPOMDPsにおける有限記憶戦略の最適な指数的記憶境界を確立すること。
• 確率的システムの検証における理論的ギャップを埋め、代表的な目的クラスの決定可能性を解決すること。

提案手法

• 多項式時間変換を用いて、パリティ目的を有するPOMDPsをco-Büchi目的に還元し、LAR還元技術を活用する。
• 元のPOMDPを有限記憶戦略下でシミュレートするため、指数的サイズの信念-観測POMDPを構築する。
• 信念状態上の不動点計算を適用し、安全および到達目的のほぼ確実に勝つ集合を計算する。これはco-Büchiおよびパリティ目的のサブルーチンである。
• 再帰的不動点アルゴリズムを用いて、目標集合が無限回にわたってほぼ確実に訪問される状態の集合を計算する。
• 信念状態上で無記憶の確率的戦略を用いて安全および到達性を保証し、勝利戦略の構築を可能にする。
• 背理法と帰納的不変性を用いて正しさを証明し、任意のほぼ確実に勝つ戦略が、勝利信念集合内に留まる不変性を保持しなければならないことを示す。

実験結果

リサーチクエスチョン

• RQ1 一般の場合に決定不能であるにもかかわらず、有限記憶戦略下でパリティ目的を有するPOMDPsにおける定性的分析問題は決定可能か？
• RQ2 パリティ目的を有するPOMDPsにおける有限記憶戦略によるほぼ確実または正の勝利戦略の存在を決定する際の正確な計算複雑度は何か？
• RQ3 この設定における有限記憶戦略の最適な指数的記憶境界を確立できるか？
• RQ4 安全、到達、またはco-Büchiのようなより単純な目的に還元可能か？これにより計算が効率的に行えるか？
• RQ5 問題はEXPTIME完全であり、この境界はアルゴリズムによって達成可能かつ一致可能か？

主な発見

• 有限記憶戦略下でのパリティ目的を有するPOMDPsにおける定性的分析問題は決定可能であり、EXPTIME完全である。
• 時間 2^O(|S|·d) で問題を解くアルゴリズムが存在する。ここで |S| は状態数、d は優先度の数である。
• 有限記憶戦略の最適な記憶境界が、状態空間のサイズに関して指数的であることが確立された。
• 信念-観測POMDP表現において、co-Büchi目的のほぼ確実に勝つ集合は、信念状態のサイズに関して二次時間で計算可能である。
• 正の勝利問題はB"uchi目的への還元により、EXPTIME完全であることが示された。
• LAR還元を用いてMuller目的へ拡張可能であり、2^O(d!·d²·|S|) 時間のアルゴリズムが得られ、これはdに関して二重指数的だが、|S|に関して指数的である。