[論文レビュー] Measuring and Synthesizing Systems in Probabilistic Environments

Krishnendu Chatterjee, Thomas A. Henzinger+2 more|arXiv (Cornell University)|Apr 5, 2010

Formal Methods in Verification参考文献 35被引用数 5

ひとこと要約

本稿では、重み付きオートマトンとマーカフ連鎖決定過程（MDP）を用いて、確率的環境仮定のもとで定量的目的を最適化するシステム合成のための新規フレームワークを提示する。平均報酬パラティー目的をもつMDPに対して多項式時間で動作するアルゴリズムを導入し、最適またはε-最適な有限状態システムの構築を可能にし、質的および定量的仕様を満たす実用的合成を実現するQuasyツールへの実装も行っている。

ABSTRACT

Often one has a preference order among the different systems that satisfy a given specification. Under a probabilistic assumption about the possible inputs, such a preference order is naturally expressed by a weighted automaton, which assigns to each word a value, such that a system is preferred if it generates a higher expected value. We solve the following optimal-synthesis problem: given an omega-regular specification, a Markov chain that describes the distribution of inputs, and a weighted automaton that measures how well a system satisfies the given specification under the given input assumption, synthesize a system that optimizes the measured value. For safety specifications and measures given by mean-payoff automata, the optimal-synthesis problem amounts to finding a strategy in a Markov decision process (MDP) that is optimal for a long-run average reward objective, which can be done in polynomial time. For general omega-regular specifications, the solution rests on a new, polynomial-time algorithm for computing optimal strategies in MDPs with mean-payoff parity objectives. Our algorithm generates optimal strategies consisting of two memoryless strategies and a counter. This counter is in general not bounded. To obtain a finite-state system, we show how to construct an ε-optimal strategy with a bounded counter for any ε>0. We also show how to decide in polynomial time if we can construct an optimal finite-state system (i.e., a system without a counter) for a given specification. We have implemented our approach in a tool that takes qualitative and quantitative specifications and automatically constructs a system that satisfies the qualitative specification and optimizes the quantitative specification, if such a system exists. We present experimental results showing optimal systems that were generated in this way.

研究の動機と目的

• 確率的入力仮定のもとで、質的仕様を満たすだけでなく定量的目的を最適化するシステムの合成という課題に対処すること。
• 応答時間やリクエスト処理などのパフォーマンス指標に基づき、システム行動に実数値スコアを割り当てる重み付きオートマトンを用いて、システム品質を測定する手法を開発すること。
• 平均報酬パラティー目的のための長期平均報酬を最大化する戦略をMDPで計算することで、最適合成問題を解くこと。
• 有限状態システムの構築を可能にするために、カウンタを有界化したε-最適戦略を提供し、最適な有限状態システムが存在する条件を特定すること。
• Quasyツールを用いた実装と評価を通じて、正しさとパフォーマンスの両立を図るシステムの自動合成を示すこと。

提案手法

• システム動作と環境入力を、それぞれマーカフ連鎖と安全またはパラティー仕様でモデル化する。
• 応答時間やリクエスト処理などのパフォーマンス指標に基づき、システム行動に実数値スコアを割り当てる重み付きオートマトンを用いて定量的目的を表現する。
• MDPにおける平均報酬パラティー目的の最適合成問題を、このような目的を解くための新規な多項式時間アルゴリズムを活用して還元する。
• 2つのメモリレス戦略とカウンタを用いて最適戦略を構築し、有限状態実装のための有界なカウンタによりε-最適精度を達成できる。
• 与えられた仕様に対して、無限大のカウンタを必要としない最適な有限状態システムが構築可能かどうかを判断するための決定手続きを採用する。
• 解決策をQuasyツールに実装し、質的および定量的仕様を入力として受け取り、最適またはε-最適なシステムを自動生成する。

実験結果

リサーチクエスチョン

• RQ1 確率的環境入力のもとで、与えられた質的仕様を満たしつつ、期待性能を最大化するシステムを合成可能か？
• RQ2 平均報酬パラティー目的をもつMDPにおいて、多項式時間で最適戦略を計算する方法は何か？
• RQ3 どのような条件下で、無限大のカウンタを必要としない最適な有限状態システムを構築できるか？
• RQ4 任意の所望の精度ε > 0 に対して、有界なカウンタを備えたε-最適な有限状態システムを生成可能か？
• RQ5 従来の最悪ケース合成と比較して、提案手法はシステム品質および表現力の面でどのように異なるか？

主な発見

• 本稿では、確率的仮定のもとで効率的な最適合成を可能にする、平均報酬パラティー目的をもつMDPを解く多項式時間アルゴリズムを提示している。
• このようなMDPにおける最適戦略は、2つのメモリレス戦略とカウンタから構成され、任意のε > 0 に対して有界化することでε-最適性を達成できる。
• 安全仕様と平均報酬測定を組み合わせた場合、最適合成問題はMDPにおける長期平均報酬最適化に還元され、多項式時間で解ける。
• ツールQuasyは、最大128台のクライアントを想定した実験において、合成時間0.5〜34.28秒の範囲で最適なシステムを正常に生成した。
• 応答制約（例：n台のクライアントに対してnステップ以内にリクエストを承認すること）を追加した場合、合成されたシステムは、より確率の高いリクエストを優先しつつも公平性を保証する知的な優先順位ベースの振る舞いを示した。
• 最適な有限状態システムが存在するかどうかを多項式時間で決定可能であり、これはコンパクトで高性能なシステムの効率的合成を可能にする。