[論文レビュー] On the Complexity of Reachability in Parametric Markov Decision Processes

Tobias Winkler, Sebastian Junges+2 more|arXiv (Cornell University)|Jan 1, 2019

Formal Methods in Verification被引用数 5

ひとこと要約

本稿は、パラメトリック・マークフ・意思決定過程（pMDPs）における到達可能性合成の計算複雑性を確立し、悪意のある非決定的性質と非厳密比較演算子を有するpMDPsに対してETR完全性を示し、厳密演算子に対してはNP困難性を示している。また、多項式不等式とランクに基づく状態順序付けを用いた新規な符号化手法を導入し、すべてのスケジューラー下での到達可能性確率をモデル化することで、異なるパラメータドメインおよび非決定的意味論における形式的複雑性保証付きの正確なパラメータ合成を可能にしている。

ABSTRACT

This paper studies parametric Markov decision processes (pMDPs), an extension to Markov decision processes (MDPs) where transitions probabilities are described by polynomials over a finite set of parameters. Fixing values for all parameters yields MDPs. In particular, this paper studies the complexity of finding values for these parameters such that the induced MDP satisfies some reachability constraints. We discuss different variants depending on the comparison operator in the constraints and the domain of the parameter values. We improve all known lower bounds for this problem, and notably provide ETR-completeness results for distinct variants of this problem. Furthermore, we provide insights in the functions describing the induced reachability probabilities, and how pMDPs generalise concurrent stochastic reachability games.

研究の動機と目的

• 到達可能性制約を満たすようにpMDPsにおけるパラメータ値を合成する際の計算複雑性を特定すること。
• 異なる比較演算子（厳密対非厳密）およびパラメータドメイン（グラフ保存的対well-defined）が、到達可能性合成の複雑性に与える影響を分析すること。
• すべてのスケジューラー下での到達可能性確率を正確に捉える形式的符号化を構築すること、特にwell-definedおよびグラフ保存的インスタンス化を含むこと。
• pMDPsを並列確率的ゲームに一般化し、ロバストスケジューラー合成との関連を確立すること。
• pMCのパラメータ合成とコントローラー合成の等価性を活用し、POMDPにおける有限状態コントローラー合成の複雑性境界を改善すること。

提案手法

• 到達可能性確率とターゲット状態への状態の近接度をモデル化するため、補助変数 vs、ps、rs を用いたpMDP到達可能性の新規な符号化を提案する。
• ターゲット状態への経路のランクを厳密に増加させるようにすることで、循環的推論を防ぐためにランク変数 rs を用いる。
• すべてのスケジューラー下での到達可能性制約を多項式不等式で符号化し、悪意のあるおよび天使的非決定的性質を区別する。
• グラフ保存的およびwell-definedなパラメータインスタンス化を別々に符号化し、パラメータ割り当て時に消える遷移を処理する。
• ETR（実数の存在理論）形式主義を用いて、パラメータ合成問題の完全な解空間を捉える。
• パラメータなしMDPsにおけるカウンターアイテム生成およびPOMDPコントローラー合成の技術を再利用・拡張し、経路の存在および確率境界をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 すべてのスケジューラー下での到達可能性確率が与えられた閾値を超えるようにするためのpMDPsにおけるパラメータ値の合成の計算複雑性は何か？
• RQ2 比較演算子の選択（厳密対非厳密）およびパラメータドメイン（グラフ保存的対well-defined）に応じて、パラメータ合成の複雑性はどのように変化するか？
• RQ3 多項式不等式符号化を用いることで、pMDPsにおける所望の到達可能性確率を誘発するパラメータ値の集合を正確に特徴付けられるか？
• RQ4 pMDPsは並列確率的到達可能性ゲームにどのように一般化され、この関連からどのような複雑性の洞察が得られるか？
• RQ5 POMDPにおける有限状態コントローラー合成の複雑性境界は何か？ そして、それらは先行研究よりもどのように改善されているか？

主な発見

• 悪意のある非決定的性質と非厳密比較演算子を有するpMDPsに対して、ETR完全性が確立され、長年の未解決問題が解決された。
• 天使的非決定的性質を有するpMDPsでは、合成問題が複雑性の観点でそのpMC対応物と同等であることが示された。
• 厳密比較演算子を有するpMCsに対してNP困難性が証明され、先行の下界が改善された。
• パラメータ数が固定されたpMDPsに対して、天使的および悪意ある非決定的性質の両方で一様なNP上界が確立された。
• 本稿は、pMDPパラメータ合成とPOMDPにおける有限状態コントローラー合成との間の形式的関係を提供し、メモリ制限付き戦略の複雑性境界を改善した。
• ランクに基づく状態順序付けとブール型経路存在変数（ps）を用いた提案符号化により、すべてのスケジューラー下での到達可能性の正確なETRベースの特徴付けが可能となり、well-definedなパラメータインスタンス化下でも有効である。