[論文レビュー] The compositional construction of Markov processes

L. de Francesco Albasini, N. Sabadini+1 more|arXiv (Cornell University)|Jan 16, 2009

Logic, Reasoning, and Knowledge被引用数 3

ひとこと要約

本稿では、左および右のインターフェースに関連付けられた信号に従って遷移が制御されるマーカフオートマトンを用いた、確率的システムをモデル化する合成的代数を導入する。ドーナツ・フォーギー問題におけるデッドロックに到達する確率を計算する方法を示し、ペロン＝フロベニウス理論を用いて、ステップ数が増加するにつれてこの確率が1に近づくことを証明する。これは、非合成的モデルとは対照的に、数学的に洗練され、表現力に富んだ代替手法を提供する。

ABSTRACT

We describe an algebra for composing automata in which the actions have probabilities. We illustrate by showing how to calculate the probability of reaching deadlock in k steps in a model of the classical Dining Philosopher problem, and show, using the Perron-Frobenius Theorem, that this probability tends to 1 as k tends to infinity.

研究の動機と目的

• 左および右のインターフェースにおける信号に基づく確率的遷移を備えたマーカフオートマトンを用いて、確率的システムを合成的にモデル化するフレームワークを開発すること。
• 並列処理や順序処理の両方を扱えるようにし、条件付き確率と信号に基づく遷移を組み込むことで、並列処理理論における従来の非合成的またはインタリーブドモデルの限界を克服すること。
• ドーナツ・フォーギー問題のような複雑な確率的挙動を捉えることのできる数学的に厳密で表現力に富んだモデルを提供すること。
• ドーナツ・フォーギー問題におけるデッドロック確率の具体的な分析を通じて、フレームワークの実用性を示すこと。

提案手法

• 左および右のインターフェースからの信号によってインデックス付けられた非負の遷移行列を備えた重み付きオートマトンとしてマーカフオートマトンを定義し、全遷移行列の各行の和が1になるようにする。
• 各状態からの全出力重みに基づいて遷移確率を再正規化することで、重み付きオートマトンをマーカフオートマトンに変換する正規化手順を導入する。
• k回の遷移の系列をモデル化するためのパワー構成法を用い、個々の遷移行列の積としてkステップ遷移行列を構築する。
• 長期間の挙動を分析するためにペロン＝フロベニウス定理を適用し、特に非可約なマーカフ連鎖における状態分布の収束を検証する。
• フォークと哲学者の状態依存的遷移を用いてドーナツ・フォーギー問題をモデル化し、フォークの持ち上げと置き下ろしの確率的行動を定義する。
• 合成によって生じる依存関係、特に複数の哲学者が同時にフォークを持ち上げることを試みるような同期行動を扱うために、条件付き確率の推論を用いる。

実験結果

リサーチクエスチョン

• RQ1 確率的オートマトンに対して、並列および逐次的合成を両立させつつ確率的意味論を保つような合成的代数を構築できるか？
• RQ2 複数のコンポーネントからの信号に依存する遷移を持つ合成系において、条件付き確率を適切にモデル化する方法は何か？
• RQ3 一般の確率的行動規則に従う確率的システム（例：ドーナツ・フォーギー問題）の長期的挙動は、特にデッドロック発生に関してどうなるか？
• RQ4 ペロン＝フロベニウス定理を用いて、このようなシステムにおける特定の吸収状態（例：デッドロック）への収束を証明できるか？
• RQ5 リーブンの確率的オートマトンや[5]におけるブロードキャストベースの並列処理モデルと比較して、提案モデルは表現力および数学的洗練性において優れているか？

主な発見

• 与えられた確率的遷移ルールのもとで、ドーナツ・フォーギー問題におけるデッドロックに到達する確率は、ステップ数kが無限大に近づくにつれて1に近づく。
• ドーナツ・フォーギーシステムの初期状態でもなくデッドロック状態でもない任意の状態において、状態1にあるフォークの数を増加させる遷移が存在することが示され、これは最終的にデッドロック状態への吸収を意味する。
• すべての遷移確率が正である限り、特定の正の確率値の割り当てに依存せず、この結果は成り立つ。
• 信号に基づく同期を用いることで、本フレームワークは確率的システムの合成を可能とし、複数の哲学者が同時に左のフォークを持ち上げるような同時行動のモデル化を可能にする。
• 正規化手順により、重み付きオートマトンがマーカフオートマトンに変換されつつも、遷移の相対的確率が保持される。
• 本モデルは、リーブンの確率的オートマトンや[5]のブロードキャストベースのモデルよりも表現力に優れており、真の同時行動と合成に起因する条件付き確率をサポートしている。