[論文レビュー] The Complexity of Reachability in Parametric Markov Decision Processes

Sebastian Junges, Joost-Pieter Katoen+2 more|arXiv (Cornell University)|Sep 28, 2020

Formal Methods in Verification参考文献 56被引用数 10

ひとこと要約

本稿は、パラメトリック・マーカフ・意思決定過程（pMDPs）における到達可能性問題の計算複雑性を確立し、普遍的非決定性を伴うpMDPsおよび非厳密比較を伴うpMCsにおける到達可能性制約のパラメータ合成がETR完全であることを示している。固定パラメータケースではNP完全性を証明し、存在的実数理論（ETR）の符号化とベルマン最適性制約を用いてタイトな複雑性バウンズを提供している。

ABSTRACT

This article presents the complexity of reachability decision problems for parametric Markov decision processes (pMDPs), an extension to Markov decision processes (MDPs) where transitions probabilities are described by polynomials over a finite set of parameters. In particular, we study the complexity of finding values for these parameters such that the induced MDP satisfies some maximal or minimal reachability probability constraints. We discuss different variants depending on the comparison operator in the constraints and the domain of the parameter values. We improve all known lower bounds for this problem, and notably provide ETR-completeness results for distinct variants of this problem.

研究の動機と目的

• 遷移確率がパラメータの多項式関数であるパラメトリック・マーカフ・意思決定過程（pMDPs）におけるパラメータ合成の計算複雑性を特定すること。
• 厳密比較と非厳密比較、および存在的非決定性と普遍的非決定性といった異なる制約が、到達可能性問題の複雑性に与える影響を分析すること。
• 先行研究における複雑性バウンズのギャップを埋めるために、合成問題のさまざまな変種についてタイトな下界と上界を確立すること。
• pMDPのパラメータ合成を存在的実数理論（ETR）に関連付けることにより、実用的な検証にETRソルバーを活用できるようにすること。
• 部分的に観測可能なMDP（POMDPs）における有限状態コントローラー合成の複雑性バウンズを、pMCsへの還元によって改善すること。

提案手法

• すべてのスケジューラーまたは一部のスケジューラに対して到達可能性制約を満たすパラメータ値の集合として、pMDPsにおける到達可能性合成を決定問題として形式化する。
• ETR符号化を用いて到達可能性条件を表現し、特にベルマン最適性方程式から導かれる多項式不等式を活用する。
• メモリレス戦略を推測し、その誘導されるpMCを多項式時間で検証することで、固定パラメータケースにおけるNP-membershipを証明する。
• グラフ保存型パラメータ値と解関数符号化を用いて、存在的実数理論への還元と逆還元により、ETR完全性を確立する。
• パラメータ数が固定された場合に有界なパラメータを伴うpMCsの既知の結果（例えば、固定パラメータ数ではPに属する）を活用して、pMDPsの複雑性バウンズを導出する。
• ベルマン最適性方程式に基づく制約を適用し、誘導されるMDPにおける戦略の最小性と到達可能性閾値の検証を行う。

実験結果

リサーチクエスチョン

• RQ1 すべての非決定的選択に対して到達可能性制約を満たすようなパラメータ値を合成する際の、pMDPsにおける計算複雑性は何か（普遍的非決定性を伴う場合）？
• RQ2 到達可能性制約における厳密比較演算子（>、<）と非厳密比較演算子（≥、≤）を用いる場合、pMDPsにおけるパラメータ合成の複雑性はどのように異なるか？
• RQ3 パラメータ数が固定された場合、存在的非決定性と普遍的非決定性の両方のバージョンにおけるパラメータ合成の複雑性は何か？
• RQ4 pMCsにおけるパラメータ合成問題は、存在的実数理論（ETR）に還元可能または特徴づけられるか。その結果、実用的ソルバーへのインパクトは何か？
• RQ5 単一のパラメータと定量的到達可能性閾値を伴うpMDPsにおけるパラメータ合成の、最もタイトな既知の複雑性バウンズは何か？

主な発見

• 普遍的非決定性を伴うpMDPsおよび任意の比較演算子を用いる合成問題は、ETR完全である。
• 非厳密比較演算子（例：≥、≤）を伴うpMCsにおける合成問題は、ETR完全である。
• 厳密比較演算子（例：>、<）を伴うpMCsにおける問題はNP-hardであり、本稿は先行の下界を改善している。
• 固定パラメータケースでは、存在的非決定性および普遍的非決定性の両方のバージョンにおけるパラメータ合成はNPに属し、誘導されるpMCの検証が多項式時間で可能である。
• 本稿は、一般ケースにおいてもパラメータ数が無限大であっても、pMDPパラメータ合成がETR完全であることを確立している。
• これらの結果は、ETRソルバーを用いてパラメータ合成問題を解くことが可能であるが、現実の実装では抽象化・精錬手法が依然としてより実用的であることを示唆している。