[論文レビュー] Energy and Mean-Payoff Parity Markov Decision Processes

Krishnendu Chatterjee, Laurent Doyen|arXiv (Cornell University)|Jan 1, 2011

Formal Methods in Verification参考文献 16被引用数 10

ひとこと要約

本稿は、定量的リソース制約とω-正規仕様を備えた反復的システムをモデル化するため、結合されたパリティ、エナジー、平均報酬目的を持つマルコフ決定過程（MDP）を研究する。平均報酬パリティMDPにおけるほぼ確実に勝つ状態を決定する問題は多項式時間で解けることが示され、エナジー・パリティMDPではNP ∩ coNPに属するが、擬似多項式時間のアルゴリズムが提示され、複雑さのギャップが解消され、以前のPSPACEの上界が改善された。

ABSTRACT

We consider Markov Decision Processes (MDPs) with mean-payoff parity and energy parity objectives. In system design, the parity objective is used to encode ω-regular specifications, and the mean-payoff and energy objectives can be used to model quantitative resource constraints. The energy condition requires that the resource level never drops below 0, and the mean-payoff condition requires that the limit-average value of the resource consumption is within a threshold. While these two (energy and mean-payoff) classical conditions are equivalent for two-player games, we show that they differ for MDPs. We show that the problem of deciding whether a state is almost-sure winning (i.e., winning with probability 1) in energy parity MDPs is in NP \cap coNP, while for mean-payoff parity MDPs, the problem is solvable in polynomial time, improving a recent PSPACE bound.

研究の動機と目的

• パリティと定量的目的（エナジーまたは平均報酬）を併せ持つMDPにおける、ほぼ確実に勝つ戦略を決定する問題の計算複雑性を分析すること。
• エナジー・パリティMDPの複雑さのギャップを解消し、問題がNP ∩ coNPに属し、擬似多項式時間で解けることを示すこと。
• 先行研究のPSPACE上界を改善し、平均報酬パリティMDPに対して多項式時間アルゴリズムを提供すること。
• エナジーおよび平均報酬パリティ目的におけるほぼ確実に勝つ戦略の記憶要件を同定すること。
• パリティゲームおよび2人零和エナジー・ゲームに問題を関連させることで、タイトな複雑さの上限を確立すること。

提案手法

• ほぼ確実に勝つ戦略をサポートする強連結な部分MDPにMDPを分解するため、終端成分解析を用いる。
• 最小の偶数優先度から始まり、偶数優先度を優先して反復的に勝利する終端成分を計算する。
• 平均報酬パリティMDPでは、各終端成分における最大期待平均報酬値がν以上であるかどうかをチェックすることで、勝利する終端成分を計算する。
• 線形計画法を用いて部分MDP内の平均報酬値を計算し、多項式時間での計算を可能にする。
• エナジー・パリティMDPを2人零和エナジー・ビューチー・ゲームに還元し、既知のNP ∩ coNPアルゴリズムを活用する。
• アトラクタおよび部分MDP解析を用いて、勝利する終端成分へのほぼ確実な到達を計算する。

実験結果

リサーチクエスチョン

• RQ1 エナジー・パリティMDPにおけるほぼ確実に勝つ状態を決定する問題の計算複雑性は何か？
• RQ2 平均報酬パリティMDPにおけるほぼ確実に勝つ問題が、以前のPSPACE上界を改善して多項式時間で解けるか？
• RQ3 エナジーおよび平均報酬パリティMDPにおけるほぼ確実に勝つ戦略の記憶要件は何か？
• RQ4 2人零和ゲームでは等価であるにもかかわらず、MDPにおけるエナジーおよび平均報酬目的はどのように異なるか？
• RQ5 勝利する終端成分を効率的に計算することで、平均報酬パリティ目的の多項式時間解法が可能になるか？

主な発見

• 平均報酬パリティMDPにおけるほぼ確実に勝つ状態を決定する問題は多項式時間で解けることが示され、タイトなPTIME完全性の上界が得られた。
• エナジー・パリティMDPでは問題がNP ∩ coNPに属し、擬似多項式時間アルゴリズムが提示され、パリティゲームがPに属さない限り、既知の最良の上界と一致する。
• 非厳密不等号（≥ν）を伴う平均報酬パリティ目的におけるほぼ確実に勝つ戦略は一般に無限記憶を要するが、厳密不等号（>ν）の場合は有限記憶で十分である。
• 勝利する終端成分は、偶数の最小優先度を持ち、かつ最大期待平均報酬値がν以上である部分MDPとして定義される。
• 平均報酬パリティMDPの価値関数は、勝利する終端成分の和集合へのほぼ確実な到達に還元することで計算可能であり、これは多項式時間で計算可能である。
• エナジーとパリティ目的の論理和はNP ∩ coNPで決定可能であり、平均報酬とパリティ目的の論理和は多項式時間で解ける。