[論文レビュー] Approximating the Stationary Probability of a Single State in a Markov chain

Christina Lee, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Dec 6, 2013

Markov Chains and Monte Carlo Methods参考文献 30被引用数 3

ひとこと要約

本稿では、正再帰的マーカフ連鎖における特定の状態の定常確率を、その状態への帰還時間のシミュレーションによって推定する、新しい反復的モンテカルロアルゴリズムを提示する。高い確率で $\epsilon$-乗法的近似を達成するため、$\tilde{O}(t_{\text{mix}}\ln(1/\alpha)/( olimits\pi_i\epsilon^2))$ ステップを必要とし、上界推定値を段階的に減少させ、誤差が有界であることを保証する終了基準を用いる。Lyapunov関数を用いることで、可算無限状態空間への拡張が可能となる。

ABSTRACT

In this paper, we present a novel iterative Monte Carlo method for approximating the stationary probability of a single state of a positive recurrent Markov chain. We utilize the characterization that the stationary probability of a state $i$ is inversely proportional to the expected return time of a random walk beginning at $i$. Our method obtains an $ε$-multiplicative close estimate with probability greater than $1 - α$ using at most $ ilde{O}\left(t_{ ext{mix}} \ln(1/α) / π_i ε^2 ight)$ simulated random walk steps on the Markov chain across all iterations, where $t_{ ext{mix}}$ is the standard mixing time and $π_i$ is the stationary probability. In addition, the estimate at each iteration is guaranteed to be an upper bound with high probability, and is decreasing in expectation with the iteration count, allowing us to monitor the progress of the algorithm and design effective termination criteria. We propose a termination criteria which guarantees a $ε(1 + 4 \ln(2) t_{ ext{mix}})$ multiplicative error performance for states with stationary probability larger than $Δ$, while providing an additive error for states with stationary probability less than $Δ\in (0,1)$. The algorithm along with this termination criteria uses at most $ ilde{O}\left(\frac{\ln(1/α)}{ε^2} \min\left(\frac{t_{ ext{mix}}}{π_i}, \frac{1}{εΔ} ight) ight)$ simulated random walk steps, which is bounded by a constant with respect to the Markov Chain. We provide a tight analysis of our algorithm based on a locally weighted variant of the mixing time. Our results naturally extend for countably infinite state space Markov chains via Lyapunov function analysis.

研究の動機と目的

• 全定常分布を計算せずに、大規模または無限のマーカフ連鎖における特定状態の定常確率を効率的に推定するアルゴリズムの開発。
• スパースで高次元なシステムにおいて、計算コストを削減するため、ターゲット状態の周辺に局所的に集中する帰還時間サンプリングを活用。
• ターゲット状態の定常確率の大きさに応じて、乗法的または加法的誤差境界を保証する終了基準の提供。
• 正再帰性を保証するためのLyapunov関数解析を用いて、可算無限状態空間への拡張を実現。

提案手法

• 状態 $i$ における帰還時間 $T_i$ に対して $\pi_i = 1/\mathbb{E}_i[T_i]$ の逆関係を用い、帰還ウォークのシミュレーションにより $\pi_i$ を推定する。
• 反復的に切断閾値 $\theta^{(k)}$ とサンプル数を増加させ、推定値の精錬を図り、収束を保証する。
• 各反復において、$\pi_i$ の上界推定値を計算し、期待値として減少させるため、進行状況のモニタリングが可能となる。
• 複雑性の上限において標準的な混合時間に代わる、局所的に重み付けされた混合時間を導入し、収束速度を厳密に分析する。
• Chernoffの不等式を用いて、標本平均が期待値の周囲に高い確率で集中することを保証する。
• 無限状態空間に対しては、$V(j) = \mathbb{E}_j[T_i]$ を用いてLyapunov関数を構築し、正再帰性の確立と解析の実現を図る。

実験結果

リサーチクエスチョン

• RQ1 全定常分布を計算するよりも、マーカフ連鎖における特定状態の定常確率をより効率的に推定することは可能か？
• RQ2 高い確率で正しい定常確率に収束し、誤差が有界となるような、局所的で反復的なモンテカルロ手法をどのように設計できるか？
• RQ3 定常確率 $\pi_i$ の大きさに応じて、乗法的または加法的誤差保証を満たす終了基準は何か？
• RQ4 理論的保証を維持したまま、可算無限状態空間への拡張はどのように実現できるか？
• RQ5 $\epsilon$, $\alpha$, $t_{\text{mix}}$, $\pi_i$ の観点から、計算コストと精度の最適なトレードオフは何か？

主な発見

• アルゴリズムは、$\tilde{O}(t_{\text{mix}}\ln(1/\alpha)/( olimits\pi_i\epsilon^2))$ のシミュレーテッドステップを用いて、$\pi_i$ の $\epsilon$-乗法的近似を確率 $1-\alpha$ 以上で達成する。
• 各反復における推定値は、高い確率で上界であり、期待値として減少するため、効果的な進行状況の監視と終了が可能となる。
• 終了基準により、$\pi_i > \Delta$ の状態では $\epsilon(1+4\ln(2)t_{\text{mix}})$ の乗法的誤差が保証され、$\pi_i < \Delta$ の状態では加法的誤差が保証される。総コストは $\tilde{O}(\ln(1/\alpha)/\epsilon^2 \cdot \min(t_{\text{mix}}/\pi_i, 1/(\epsilon\Delta)))$ で有界である。
• Lyapunov関数解析を用いることで、可算無限状態空間への拡張が可能となり、正再帰性のもとで有効性が保証される。
• 局所的に重み付けされた混合時間の導入により、複雑性解析において標準的な混合時間よりもタイトな上限が得られる。
• アルゴリズムの複雑性は全状態空間のサイズに依存しないため、大規模かつスパースなマーカフ連鎖に適している。