[論文レビュー] Faster Algorithms for Markov Decision Processes with Low Treewidth

Krishnendu Chatterjee, Jakub Łącki|arXiv (Cornell University)|Mar 30, 2013

Formal Methods in Verification被引用数 6

ひとこと要約

本稿では、低木幅を持つマルコフ決定過程（MDPs）における最大終状態成分（MEC）分解およびほぼ確実到達集合（ASR）の計算のための、より高速な静的および減少的（decremental）アルゴリズムを提示する。木分解の幅 $k$ を活用することで、MEC に対しては静的時間計算量 $O(n \cdot k^{2.38} \cdot 2^k)$、ASR に対しては $O(m \cdot \log n \cdot k)$ を達成し、減少的設定ではエッジ削除あたりの均等化時間計算量が $O(k \cdot \log n)$ に抑えられる。これは従来の境界を著しく改善する。

ABSTRACT

We consider two core algorithmic problems for probabilistic verification: the maximal end-component decomposition and the almost-sure reachability set computation for Markov decision processes (MDPs). For MDPs with treewidth $k$, we present two improved static algorithms for both the problems that run in time $O(n \cdot k^{2.38} \cdot 2^k)$ and $O(m \cdot \log n \cdot k)$, respectively, where $n$ is the number of states and $m$ is the number of edges, significantly improving the previous known $O(n\cdot k \cdot \sqrt{n\cdot k})$ bound for low treewidth. We also present decremental algorithms for both problems for MDPs with constant treewidth that run in amortized logarithmic time, which is a huge improvement over the previously known algorithms that require amortized linear time.

研究の動機と目的

• 低木幅が小さいMDPにおける定性的解析の性能ボトルネックを解消し、特にMEC分解やほぼ確実到達性といったコアな問題に焦点を当てる。
• 従来の $O(n \cdot k \cdot \sqrt{n \cdot k})$ の静的時間計算量および減少的更新における $O(n)$ の均等化時間計算量を超える。
• 低木幅MDPの構造的性質を活用して、より高速な実行時間を達成するアルゴリズムを開発する。
• コントローラー選択（プレイヤー1のエッジ）に対する段階的変更を伴う確率的システムの効率的動的検証を可能にする。

提案手法

• 幅 $k$ の木分解を活用してMDPの構造を整え、効率的な動的更新を可能にする。
• 減少的設定における到達可能性および強連結成分（SCC）の維持に、凝縮（condensation）に基づくアプローチを用いる。
• エッジ削除あたりの均等化更新時間 $O(k \cdot \log n)$ を有する減少的単一始点到達可能性アルゴリズムを適用する。
• 成分の分解と再統合を効率的に行える動的データ構造を用いてSCCを維持する。
• 低木幅と木分解の性質を活用して、$O(n \cdot k^{2.38} \cdot 2^k)$ 時間でMECを計算する静的アルゴリズムを設計する。
• エッジ削除後に影響を受ける領域のみを再チェックする変更版到達可能性アルゴリズムを用い、各エッジがすべての更新でたかだか1回しか処理されないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 低木幅が小さいMDPにおけるMEC分解およびASR集合計算の静的時間計算量を、$O(n \cdot k \cdot \sqrt{n \cdot k})$ を超えて改善できるか？
• RQ2 エッジ削除あたりの均等化更新時間としてサブ線形時間の減少的アルゴリズムをMECおよびASRに対して設計できるか？
• RQ3 木分解の構造を活用することで、MDPのコアな解析問題における静的および動的アルゴリズムの高速化が可能か？
• RQ4 これらのアルゴリズムの性能は、木幅 $k$ およびグラフサイズ $n$ に対してどのようにスケーリングするか？
• RQ5 今後の研究において、DAG幅などの他の構造的パラメータへも同様の技術を拡張可能か？

主な発見

• 静的MEC分解アルゴリズムは $O(n \cdot k^{2.38} \cdot 2^k)$ 時間で実行され、低木幅MDPにおける従来の $O(n \cdot k \cdot \sqrt{n \cdot k})$ の境界を著しく改善する。
• 静的ASR集合計算は $O(m \cdot \log n \cdot k)$ 時間で実行され、$k$ が小さい場合には従来の手法よりも高速である。
• 減少的更新では、エッジ削除あたりの均等化時間が $O(k \cdot \log n)$ に抑えられ、従来の $O(n)$ の均等化境界に比べて顕著な改善が達成された。
• 影響を受ける部分グラフのみを再処理することで、エッジ削除の過程でも正しさが保たれ、すべての更新において各エッジがたかだか1回しか処理されない。
• 全 $\Omega(m)$ 個のエッジ削除処理の合計実行時間は $O(m \cdot k \cdot \log n)$ であり、均等化の観点から静的境界と一致する。
• 結果として、低木幅が静的および動的MDP検証において顕著な性能向上をもたらすことが示された。