[論文レビュー] A Critical Account of Perturbation Analysis of Markov Chains

Karim Abbas, Joost Berkhout+1 more|arXiv (Cornell University)|Sep 14, 2016

Markov Chains and Monte Carlo Methods参考文献 49被引用数 8

ひとこと要約

本稿は、摂動解析におけるマコフ連鎖の新しい級数展開に基づくアプローチを提案し、摂動が小さくなるにつれて相対誤差が消える境界を提示する。有限および可算無限の連鎖を一様に取り扱うバイアス項フレームワークの下で統一し、収束条件を証明し、特に有限状態モデル（障害を伴うM/G/1キューを含む）において、従来の条件数および強安定性境界と比較して優れた数値的効率性を示す。

ABSTRACT

Perturbation analysis of Markov chains provides bounds on the effect that a change in a Markov transition matrix has on the corresponding stationary distribution. This paper compares and analyzes bounds found in the literature for finite and denumerable Markov chains and introduces new bounds based on series expansions. We discuss a series of examples to illustrate the applicability and numerical efficiency of the various bounds. Specifically, we address the question on how the bounds developed for finite Markov chains behave as the size of the system grows. In addition, we provide for the first time an analysis of the relative error of these bounds. For the case of a scaled perturbation we show that perturbation bounds can be used to analyze stability of a stable Markov chain with respect to perturbation with an unstable chain.

研究の動機と目的

• 有限および可算無限のマコフ連鎖の摂動解析を、一つの理論的枠組みで統一すること。
• 従来の境界（特に条件数境界）の限界を克服するため、摂動の大きさがゼロに近づくにつれて相対誤差が消える新しい境界を導入すること。
• 級数展開の収束が、マルチチェーンおよびユニチェーンの両方において、定常分布の存在を保証する十分条件を確立すること。
• ハイブリッドシステム（例えば、パrameter θによって混合される安定および不安定なマコフ連鎖）の安定性解析における摂動境界の応用を示すこと。
• 特に、級数展開がより緊密な境界をもたらす有限状態モデルにおいて、強安定性境界の数値的に効率的な代替手段を提供すること。

提案手法

• 定常分布の差 ||π_R^T - π_P^T|| の摂動境界を導出するため、級数展開アプローチを提案する。
• ユニチェーンおよびマルチチェーンの両方の取り扱いを統一するため、バイアス項の概念を導入する。
• v-ノルムおよび行列ノルム（例：||·||_v）を用いて、定常分布の差の境界を導出する。
• 相対誤差の挙動を分析するため、スケーリングされた摂動モデル P(θ) = (1−θ)P + θR を適用する。
• T が遷移関連行列であるとき、||T||_v < 1 の条件により級数展開の収束条件を導出する。
• 有限状態系における D_θ（基本行列）および π_θ の数値計算を用いて、境界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 摂動の大きさがゼロに近づくとき、従来の摂動境界（条件数および強安定性境界）の相対誤差はどのように振る舞うか？
• RQ2 摂動の大きさが小さい極限において、相対誤差が消えるような級数展開に基づく境界を構築できるか？
• RQ3 マルチチェーンおよびユニチェーンの文脈において、級数展開の収束および定常分布の存在を保証する条件は何か？
• RQ4 摂動解析を用いて、安定および不安定なマコフ連鎖がパrameter θ で混合された系の安定性領域の下界を導出できるか？
• RQ5 有限状態モデルにおいて、級数展開境界が強安定性境界および条件数境界と比較して、数値的効率性はどの程度か？

主な発見

• 提案された級数展開境界（SEB）は、摂動の大きさ θ→0 の極限において相対誤差が消える性質を示し、これは標準的な条件数境界では達成できない。
• N=50 の障害付き M/G/1/N キューにおいて、K=3 項の SEB は θ≤0.1 の範囲で相対絶対誤差が 10% 未満に抑えられ、高い数値的効率性を示している。
• 級数展開法により導出された下界から、障害確率が約 1/2 までシステムが安定であることが判明した。
• 強安定性境界（SSB）は無限状態連鎖に対して理論的境界を提供するが、特に小さな摂動においては数値的品質が著しく劣る。
• ||T||_v ≤ b₁(α) < 1 である条件は、級数展開の収束を保証し、P(θ) の安定性領域の下界を導出するのにも用いられる。
• λ=0.5、μ=1、r=1、α=1 の有限状態 M/G/1/N キューにおいて、θ||(P₁−P₀)D₀||_v < 1 が θ < 1/8 の範囲で成り立ち、θ₀=0.1 で数値的妥当性が確認された。