[論文レビュー] Computable Convergence Rates for Subgeometrically Ergodic Markov Chains

Randal Douc, Éric Moulines+1 more|arXiv (Cornell University)|Nov 10, 2005

Markov Chains and Monte Carlo Methods参考文献 17被引用数 6

ひとこと要約

本稿では、ドリフトおよびマイノリゼーション条件を用いて、部分幾何的エルゴード性を示すマルコフ連鎖の収束速度を計算可能なものに定式化する。ローゼンタールのカップリングに基づく境界を、一般の部分幾何的レートへと拡張し、一般状態空間に対して有効であり、確率的単調性を示す連鎖やMCMCの例に応用可能な、$f$-全 Variation 距離への定常分布への収束の明示的かつ計算可能な境界を提供する。

ABSTRACT

In this paper, we give quantitative bounds on the $f$-total variation distance from convergence of an Harris recurrent Markov chain on an arbitrary under drift and minorisation conditions implying ergodicity at a sub-geometric rate. These bounds are then specialized to the stochastically monotone case, covering the case where there is no minimal reachable element. The results are illustrated on two examples from queueing theory and Markov Chain Monte Carlo.

研究の動機と目的

• 部分幾何的エルゴード性を示すマルコフ連鎖に対する、$f$-全 Variation 距離から定常分布への収束速度の明示的かつ計算可能な境界を導出すること。
• 以前は幾何的レートに限られていたローゼンタールのカップリングに基づく境界を、$\Lambda$ 内の一般の部分幾何的レート（$\log r(n)/n \downarrow 0$）に拡張すること。
• 最小到達可能要素が存在しない状況を含む一般状態空間に対しても適用可能なフレームワークを提供すること、特に確率的単調性を用いて。
• $r(n)\|P^n(x,\cdot) - \pi\|_f \leq g(x)$ の形の定量的境界を、$g(x)$ が明示的に計算可能であるように確立すること。
• キューイング理論やマルコフ連鎖モンテカルロ（MCMC）の例を用いて、手法の実用的有効性を検証すること。

提案手法

• リンデヴァルの不等式に基づくカップリング構成を用い、収束境界をカップリング時間のモーメントと関連付ける。
• ドリフトおよびマイノリゼーション条件を適用し、リャプノフ関数 $W$ が満たす $\check{P}W(x,x') \leq W(x,x') - \phi \circ W(x,x') + b\mathbbm{1}_{C \times C}(x,x')$ の条件を用いて、期待カップリング時間の境界を導出する。
• モーメントの成長を制御するため、$\phi \circ H_\phi^{-1}(k)$ が対数凹型を示す変換関数を導入する。
• $\mathsf{X} \times \mathsf{X}$ 上の2変量マルコフ核 $\check{P}$ を構築し、パスをカップリングし、小集合 $C \times C$ への到達時間（Hit time）を分析する。
• カップリング時間の再帰的モーメント計算により境界を導出し、$f$-ノルム収束のためのドリフト条件 $\mathbb{E}_x[\sum_{k=0}^{\tau_B-1} r(k)f(X_k)] < \infty$ を用いる。
• 確率的単調連鎖に対しては、$W_0(x)$ を定義し、$K(u)$ および $\psi(\eta)$ を用いて、$q(y)/\pi(y)$ の形でドリフトを制御する。

実験結果

リサーチクエスチョン

• RQ1 一般のドリフトおよびマイノリゼーション条件の下で、部分幾何的エルゴード性を示すマルコフ連鎖に対して、計算可能な収束速度を導出できるか？
• RQ2 ローゼンタールのカップリングに基づく境界を、幾何的レートから一般の部分幾何的レートへの $f$-ノルムへの拡張は可能か？
• RQ3 どのような条件下で、$f$-全 Variation 距離 $\|P^n(x,\cdot) - \pi\|_f$ が計算可能な部分幾何的レートで減少するか？
• RQ4 最小要素が存在しない確率的単調連鎖に対しても、この手法はどのように適合可能か？
• RQ5 キューイングシステム や MCMC アルゴリズムのような実用的モデルに、明示的なレート境界を伴って適用可能か？

主な発見

• 本稿では、任意の $r(n) \in \Lambda$（部分幾何的レートのクラス）に対して、$r(n)\|P^n(x,\cdot) - \pi\|_f \leq g(x)$ の形の一般境界を確立し、$g(x)$ が明示的に計算可能であることを示した。
• 確率的単調連鎖の場合は、最小要素が存在しない場合でも境界が得られ、より広範なモデルへの適用可能性が拡張された。
• カップリングに基づくアプローチにより、ヌンメリンとトゥイミーン（1983）およびトゥイミーンとトゥイードィー（1994）の先行結果を一般化・強化する自己完結的な証明が得られた。
• リャプノフ関数 $W$ が $\check{P}W \leq W - \phi \circ W + b\mathbbm{1}_{C \times C}$ を満たし、かつ $\phi \circ H_\phi^{-1}(k)$ が対数凹型となるように $\phi $ を選ぶことで、$f$-ノルムに対する明示的境界が導出された。
• 多項式レート $r(n) = n^\beta$ や、すべての $\kappa$ に対して $\lim_{n \to \infty} r(n)n^{-\kappa} = \infty$ を満たすより一般的な部分幾何的レートに対しても、計算可能な境界が得られた。
• キューイングモデルとMCMCアルゴリズムの2つの例を用いてフレームワークを検証し、明示的な収束速度を導出する実用的有効性が示された。