[論文レビュー] Lightweight Monte Carlo Algorithm for Markov Decision Processes.

Axel Legay, Sean Sedwards|arXiv (Cornell University)|Oct 14, 2013

Formal Methods in Verification参考文献 20被引用数 7

ひとこと要約

本稿では、疑似乱数生成関数とハッシュ関数を用いて一般スケジューラを表現することで、O(1)のメモリを用いる軽量なモンテカルロアルゴリズムを、マルコフ決定過程（MDP）に対して提案する。これにより、並列処理と統計的モデル検査が効率的に行えるようになり、信頼区間を提供する。この手法により、大規模または解けないモデルに対するスケーラブルな近似解が可能となる。

ABSTRACT

Markov decision processes are widely used to model optimisation problems and concurrent systems, but only relatively small models may be solved exactly, due to the typically intractable number of states of a system. By considering schedulers based on the states visited by simulations, algorithms exist to find approximate solutions, but the number of states visited also becomes rapidly intractable. We present a lightweight Monte Carlo algorithm that may be used for statistical model checking Markov decision processes and other models that mix nondeterminism with probabilistic transitions. The algorithm uses an O(1) memory representation of general schedulers, based on pseudo-random number generators and hash functions, and may be efficiently parallelised. We provide confidence bounds and propose novel ways in which the algorithm may be profitably extended.

研究の動機と目的

• 状態数が膨大になるため解けないマルコフ決定過程における正確な解法のスケーラビリティの限界を解消する。
• シミュレーションベースのスケジューラ評価における状態爆発問題を克服し、効率的なメモリ使用と並列実行を実現する。
• 非決定的遷移と確率的遷移を併せ持つモデルの統計的モデル検査のための実用的で近似可能な手法を開発する。
• 計算結果の近似品質に対する形式的な信頼区間を提供する。
• より高い正確性と効率性を実現するための新しいアルゴリズム拡張を通じて、アルゴリズムの拡張性を可能にする。

提案手法

• 一般スケジューラを疑似乱数生成関数とハッシュ関数を用いて表現し、状態数に依存しないO(1)のメモリ表現を達成する。
• 明示的な状態列挙を避けるために、シミュレーションベースのサンプリングによりスケジューラ下での状態遷移を探索する。
• ハッシュ関数を用いて、決定的ではあるがランダムな方法で状態を行動にマッピングすることで、一貫性があり再現可能なスケジューラ動作を実現する。
• 複数のプロセッサに独立したシミュレーション実行を分散することで、効率的な並列処理を設計する。
• 近似解の信頼性を定量化するために、出力に統計的信頼区間を統合する。
• 実際の応用において収束性と正確性を向上させるために、コアアルゴリズムの新しい拡張を提案する。

実験結果

リサーチクエスチョン

• RQ1 正確性とスケーラビリティを維持しつつ、O(1)のメモリ使用量を実現するMDP用モンテカルロアルゴリズムを設計できるか？
• RQ2 完全な状態-行動マッピングを保存せずに、シミュレーションベースの手法でスケジューラを効率的に表現する方法は何か？
• RQ3 正しさや信頼区間の保証を損なわずに、アルゴリズムをどの程度並列化できるか？
• RQ4 このアルゴリズムが生成する近似解に対して、どのように厳密な統計的信頼区間を導出できるか？
• RQ5 実際のモデル検査のシナリオにおいて、性能と正確性を向上させるために、アルゴリズムをどのように拡張できるか？

主な発見

• 疑似乱数生成関数とハッシュ関数を用いることで、本手法は一般スケジューラのO(1)メモリ表現を達成し、状態-行動マッピングの保存を不要にする。
• 本手法により、大規模または複雑なMDPにおけるシミュレーション実行の並列処理が効率的に行えるようになり、スケーラビリティが著しく向上する。
• 近似結果の信頼性を定量化するための統計的信頼区間が提供され、計算結果の信頼性が保証される。
• 本アルゴリズムは、非決定的遷移と確率的遷移を併せ持つモデルにも適用可能であり、並列系やハイブリッドシステムへの応用可能性が拡張される。
• 実世界のモデル検査応用において、実用的性能と正確性を向上させるために、新たなアルゴリズム拡張が提案されている。