[論文レビュー] The Odds of Staying on Budget

Christoph Haase, Stefan Kiefer|arXiv (Cornell University)|Sep 21, 2014

Formal Methods in Verification参考文献 17被引用数 4

ひとこと要約

本稿は、与えられた確率閾値で、マルコフ連鎖またはマルコフ決定過程（MDP）が、論理的結合されたコスト不等式によって定義される予算内に留まるかどうかを決定する計算複雑性を調査する。非巡回マルコフ連鎖ではPP完全性、非巡回MDPではPSPACE完全性、一般MDPではEXP完全性を示し、以前の指数時間上界よりもタイトな複雑性バインディングを提供する。

ABSTRACT

Given Markov chains and Markov decision processes (MDPs) whose transitions are labelled with non-negative integer costs, we study the computational complexity of deciding whether the probability of paths whose accumulated cost satisfies a Boolean combination of inequalities exceeds a given threshold. For acyclic Markov chains, we show that this problem is PP-complete, whereas it is hard for the PosSLP problem and in PSPACE for general Markov chains. Moreover, for acyclic and general MDPs, we prove PSPACE- and EXP-completeness, respectively. Our results have direct implications on the complexity of computing reward quantiles in succinctly represented stochastic systems.

研究の動機と目的

• 与えられた確率閾値で、マルコフ連鎖またはMDPが予算制約を満たすかどうかを決定する計算複雑性を特定すること。
• 以前に知られていたEXP上界と、確率的システムにおける予算制約付き問題の実際の複雑性との間のギャップを埋めること。
• 非巡回および一般モデルの両方におけるタイトな複雑性分類を提供し、マルコフ連鎖とMDPの違いを明確にすること。
• QSubsetSumゲームおよびPosSLP問題からの還元を用いて、NPより強い下界を確立すること。
• 構造的制約（例：非巡回性）が与えられた場合に限り、要約表現された確率的システムにおける報酬分位数の効率的計算が可能であることを明確にすること。

提案手法

• 勝利戦略の存在が予算超過確率が低いことに対応するマルコフ連鎖を構築するため、QSubsetSumゲームからの還元。
• 確率的スケジューリングと蓄積コストを備えた状態拡張を用いて、MDPにおける経路コスト制約をモデル化する。
• 包含除算法と和集合の上限を用いて、構築されたMDPにおける失敗確率（すなわち、予算超過確率）を推定する。
• 一般マルコフ連鎖における下界を確立するために、PosSLP問題を活用する。
• QSubsetSumから予算意思決定問題への対数領域還元を設計し、適切な複雑性クラスにおける完全性結果を証明する。
• コストの2進表現と慎重なパrameter設定（例：M = 2^{n/2} n² ℓ²）を用いて、確率バインディングを制御し、還元の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 整数コスト付きマルコフ連鎖における経路が、与えられた確率閾値τ以上で、論理的結合されたコスト不等式を満たすかどうかを決定する複雑性は何か？
• RQ2 モデルがマルコフ連鎖からMDPに変わると、複雑性はどのように変化するか？
• RQ3 一般MDPにおけるEXP上界をタイトにできるか？もしそうなら、どのような条件下で可能か？
• RQ4 非巡回マルコフ連鎖では問題がPP完全であるか？一般連鎖と比較するとどうなるか？
• RQ5 予算意思決定問題と、確率的コスト制約の文脈におけるPosSLP問題との関係は何か？

主な発見

• 非巡回マルコフ連鎖における予算意思決定問題はPP完全である。これは、ブール論理式の充足割り当て数を数えるのと同程度に難しいことを示している。
• 一般マルコフ連鎖では、PosSLP問題に困難であることが示され、PSPACEに属する。これは、以前のEXP上界よりも改善された結果である。
• 非巡回MDPでは、問題はPSPACE完全である。非決定性がマルコフ連鎖の場合より複雑性を高めることを示している。
• 一般MDPでは、問題はEXP完全である。これはタイトな複雑性バインディングを確立し、問題がEXP未満にあるかどうかという未解決の問いを解決している。
• QSubsetSumから予算問題への還元により、問題がPosSLP問題に困難であることが証明され、NPより強い下界が得られた。
• これらの結果は、要約表現された確率的システムにおける報酬分位数の計算が、特定の構造的制約（例：非巡回性）が与えられた場合にのみ計算的に容易であることを示唆している。