[論文レビュー] Markov Chain Decomposition Based On Total Expectation Theorem

Katsunobu Sasanuma, Robert C. Hampshire+1 more|arXiv (Cornell University)|Jan 21, 2019

Advanced Queuing Theory Analysis参考文献 5被引用数 5

ひとこと要約

本稿では、全期待値の定理に基づく新しいマーカフ連鎖分解手法を提案する。この手法により、排他的な部分連鎖や複雑な正規化を要しない柔軟で重複を許容する部分連鎖分解が可能になる。境界状態における部分的フロー保存を保証する終了スキームにより、部分連鎖の期待値を線形に集約でき、性能解析を簡素化し、混雑度に基づくスタッフ配置キューおよびマーカフ変調型キューなどの複雑なモデルに対しても正確な解析的解が得られる。

ABSTRACT

A divide-and-conquer approach to analyzing Markov chains (MCs) is not utilized as widely as it could be, despite its potential benefits. One primary reason for this is the fact that most MC decomposition approaches involve a complex and inflexible methodology: decomposed subchains must be disjoint, transition rates of these decomposed subchains must be altered in a way tailored to the particular MC model, and the procedure to aggregate suchains needs to incorporate a nonlinear normalization constraint, complicating the analytical expression of performance measures. In contrast, we propose a versatile yet simple decomposition method for continuous time MCs based on the total expectation theorem. Leveraging the properties of this theorem, our method has great flexibility in the choice of subchains, and the procedure to obtain expected values of interest is simply a linear summation of subchains' properties, which is not affected by the normalization constraint. We prove that to maintain the correct distribution of decomposed subchains one may use our novel termination scheme, a modification of transition rates, that ensures partial flow conservation at boundary states. This termination scheme is applicable to MCs with any structure, since the scheme depends only on the boundary-state distribution, not on the structure of the MCs. To demonstrate the generality and capability of our method, we analytically solve various models, such as a congestion-based staffing queue and a Markov-modulated Mt/Mt/1 queue. As not all systems admit an analytical solution, we complement this analysis with numerical studies of MCs with various sizes using the algorithm based on our method.

研究の動機と目的

• 従来のマーカフ連鎖分解手法が要求する排他的な部分連鎖と複雑な正規化手順の制限を解消すること。
• 解析的取り扱いが可能であることを保ちつつ、重複やネストを許容する柔軟な分解フレームワークを構築すること。
• 非線形正規化制約を排除することで、性能指標の集約を簡素化し、部分連鎖の性質を線形結合によって統合すること。
• 境界状態における部分的フロー保存に基づく新しい終了スキームを用いて、部分連鎖の定常分布を保存すること。
• 本手法の一般性と解析的パワーを、混雑度に基づくスタッフ配置キューとマーカフ変調型キューといった複雑なキューイングモデルに対して正確な解を示すことで実証すること。

提案手法

• 本手法は、全期待値の定理（繰り返し期待値の法則）を活用し、全マーカフ連鎖上の関数の期待値を部分連鎖の期待値の線形結合として表現する。
• 正規化を処理するための基準状態パラメータを導入し、分析の最後に期待値の引数を1に設定することでこれを解消する。
• 境界状態における遷移率を変更する新しい終了スキームを導入し、部分的フロー保存を維持することで、部分連鎖の定常分布が有効であることを保証する。
• 本手法の鍵となる洞察は、部分連鎖の境界状態において、流入・流出のネット量が保存されていれば、定常分布が保たれることである。
• 全状態空間全体にわたる部分連鎖分布の一貫性を保つために、一般化された確率測度 π(k)j を定義する。
• 本手法は、終了スキームがグローバルなトポロジーに依存せず、境界状態の分布にのみ依存するため、任意の連続時間マーカフ連鎖構造に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 重複やネストを許容しつつも、解析的簡便性を保つマーカフ連鎖分解手法を開発できるか？
• RQ2 従来の分解手法における正規化制約をどのように排除すれば、性能指標の集約を簡素化できるか？
• RQ3 部分連鎖の定常分布が元の全連鎖と一貫していることを保証する条件は何か？
• RQ4 任意の連鎖構造に関わらず、境界状態における部分的フロー保存を維持する一般化された終了スキームを設計できるか？
• RQ5 この手法が、複雑なキューイングシステムに対してどれほど正確な解析的解を導けるか？

主な発見

• 提案手法により、混雑度に基づくスタッフ配置キューおよびマーカフ変調型 M_t/M_t/1 キューといった複雑なモデルに対して正確な解析的解が得られる。
• 本手法は、従来のアプローチで一般的な非線形正規化制約を回避する部分連鎖期待値の線形集約を実現する。
• 終了スキームにより、境界状態におけるネットフローを保存することで、部分連鎖分布の保存が保証され、任意のMC構造に普遍的に適用可能である。
• 部分連鎖が重複またはネストしていても、部分的フロー保存を強制することで、部分連鎖の正しい定常分布が維持される。
• 重みが1つの基準状態パラメータから導かれるため、性能指標の計算が部分連鎖期待値の重み付き和への還元により簡素化される。
• 数値的実験により、大規模なMCに対して本手法の有効性が確認され、スケーラビリティと正確性が示された。