[論文レビュー] Shepherding Hordes of Markov Chains

Milan Češka, Nils Jansen+2 more|arXiv (Cornell University)|Jan 1, 2019

Formal Methods in Verification参考文献 41被引用数 2

ひとこと要約

本稿では、マルコフ連鎖（MC）の大きなファミリに対してスケーラブルな合成を実現するための抽象化・精錬フレームワークを提案する。ファミリをマルコフ決定過程（MDP）としてモデル化し、全列挙を回避するための反復的抽象化を適用する。この手法は、数百万個のMCを含むファミリにおいて、ベースライン手法に比べ最大1,000倍の高速化を達成し、特にしきい値が最適値に近い場合に顕著である。

ABSTRACT

This paper considers large families of Markov chains (MCs) that are defined over a set of parameters with finite discrete domains. Such families occur in software product lines, planning under partial observability, and sketching of probabilistic programs. Simple questions, like `does at least one family member satisfy a property?', are NP-hard. We tackle two problems: distinguish family members that satisfy a given quantitative property from those that do not, and determine a family member that satisfies the property optimally, i.e., with the highest probability or reward. We show that combining two well-known techniques, MDP model checking and abstraction refinement, mitigates the computational complexity. Experiments on a broad set of benchmarks show that in many situations, our approach is able to handle families of millions of MCs, providing superior scalability compared to existing solutions.

研究の動機と目的

• パrameter数の増加に伴い指数関数的に増大するマルコフ連鎖（MC）のファミリの解析における計算の非効率性に対処する。
• 到達確率や期待報酬といった定量的性質のための、効率的な可能性・しきい値・最適合成を可能にする。
• 個々の分析やモノリシックなMDPの限界を克服するため、軽量で反復的な抽象化・精錬スキームを導入する。
• ソフトウェア製品ライン、部分観測下の計画、確率的プログラム合成といった実世界の応用分野におけるスケーラブルなソリューションを提供する。

提案手法

• ファミリ内のMCを1つのMDPとしてモデル化し、初期状態が非決定的にファミリ内メンバーを選択することで、統合的解析を可能にする。
• ファミリメンバーの選択を抽象化することで商MDPを構築し、どのメンバーにおいても到達可能な状態を1つの代表状態に統合する。
• 市販のMDPモデル検査を用いて、すべてのファミリメンバーにおける最小／最大確率または報酬の下界・上界近似を計算する。
• 反復的精錬を適用：結果が不確かである場合、スケジューラの不一致およびMDP戦略解析に基づいてファミリを部分ファミリに分割し、再計算を回避する。
• MDP戦略の軽量な解析を活用して分割意思決定をガイドし、しきい値を満たす可能性がより高いパrameter空間の領域を優先する。
• Stormモデルチェッカーにこのアプローチを統合し、効率的なデータ構造を用いたシンボリックおよび明示的状態空間探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MDP表現における抽象化・精錬が、数百万ものメンバーを含むマルコフ連鎖ファミリの解析にかかる計算コストを顕著に低減できるか？
• RQ2 定量的仕様におけるしきい値の値が、精錬の反復回数および合成アルゴリズム全体のパフォーマンスにどのように影響を与えるか？
• RQ3 スケーラビリティおよび実行時間の観点から、抽象化・精錬スキームが、個別分析および一括MDPアプローチをどの程度上回るか？
• RQ4 特に最適パrameter値が状態条件に極めて敏感な場合に、戦略誘導型精錬が反復回数の削減にどの程度効果を発揮するか？

主な発見

• 提案手法の抽象化・精錬アプローチは、数百万のマルコフ連鎖を含むベンチマークにおいて、個別分析および一括MDP分析の両方に対して最大1,000倍の高速化を達成した。
• 精錬の反復回数はしきい値に強く依存しており、最適値に近いしきい値では反復回数が少なく、パフォーマンスが顕著に向上する。
• 商MDP表現は、特にMazeやPoleのようなベンチマークにおいて、一括MDPよりも著しくコンパクトであり、非常に高い圧縮率を達成した。
• しきい値が最適値から離れていると、過剰近似が増加し、モデル検査結果が不確かになるため、パフォーマンスが劣化する。
• Hermanリングベンチマークのような、スケジューラの不一致が顕著なケースでは、非最適な分割により反復回数が増加し、高速化効果が低下する。
• 可能性合成（あるメンバーが性質を満たすかの確認）は、抽象化によって最も効果的に動作し、非可能性な部分ファミリの早期 pruning が最大限に活用される。