[論文レビュー] Exponential Concentration Inequalities for Additive Functionals of Markov Chains

Radosław Adamczak, Witold Bednorz|arXiv (Cornell University)|Jan 17, 2012

Markov Chains and Monte Carlo Methods参考文献 35被引用数 7

ひとこと要約

この論文は、ドリフト条件の下で明示的かつ計算可能な定数を伴う再生に基づくアプローチを用いて、定常マルコフ連鎖の加法的関数への指数的集中不等式を確立する。非有界関数に対するベルンシュタイン型不等式を導出し、独立和の古典的結果をMCMCや統計的推定に実用的応用可能なマルコフ連鎖へと拡張する。

ABSTRACT

Using the renewal approach we prove exponential inequalities for additive functionals and empirical processes of ergodic Markov chains, thus obtaining counterparts of inequalities for sums of independent random variables. The inequalities do not require functions of the chain to be bounded and moreover all the involved constants are given by explicit formulas whenever the usual drift condition holds, which may be of interest in practical applications e.g. to MCMC algorithms.

研究の動機と目的

• 独立した確率変数の和に対する不等式の強力な代替手段として、定常マルコフ連鎖の加法的関数への指数的集中不等式を導出すること。
• 標準的なドリフト条件の下で、境界に含まれるすべての定数が明示的に計算可能であることを保証し、MCMCアルゴリズムや統計的推論における実用的有用性を高めること。
• 極限分散と指数的尾部挙動を組み込むことで、非有界関数のマルコフ連鎖への古典的ベルンシュタイン型不等式の拡張すること。
• 弱いモーメントおよび幾何的定常性の仮定の下で、関数クラスによってインdeXされた経験過程、特にヒルベルト空間値過程のための尾部境界を提供すること。

提案手法

• 再生のアプローチにより、原子または小さな集合によって定義される再生サイクル間の遷移にマルコフ連鎖を分解し、依存性をほぼ独立な構造に還元する。
• ヌムメリンの分割技術およびアトレア・ネイの手法を用いて再生構造を構築し、独立または弱く依存する確率変数への集中不等式の適用を可能にする。
• ドリフト条件からドリフト、分散、尾部制御といった主要パラメータを導出し、指数的境界における定数の明示的公式を提供する。
• 指数モーメントによるオルリッチノルム制御を組み込み、部分指数的尾部仮定の下で非有界関数の境界を可能にする。
• ドーブの最大不等式および平行四辺形恒等式を用いて、特に経験過程設定におけるヒルベルト空間値加法的関数の上界を制御する。
• 異なる尾部領域に対応する項を組み合わせた複数項の指数的境界を導出する：分散駆動型、有界性駆動型、部分指数的尾部成分。

実験結果

リサーチクエスチョン

• RQ1 標準的なドリフト条件の下で、マルコフ連鎖の加法的関数への指数的集中不等式を、完全に明示的かつ計算可能な定数を伴って導出可能か？
• RQ2 独立和のベルンシュタイン型不等式が、定常マルコフ連鎖の非有界関数へとどの程度拡張可能か？
• RQ3 関数クラスによってインデックスされた経験過程は、関数がヒルベルト空間値をとる場合に、どのようにマルコフ連鎖設定で制御可能か？
• RQ4 再生構造は、依存するマルコフ連鎖の和を、集中解析に適したほぼ独立な成分に変換する役割を果たすか？

主な発見

• 本論文は、$\mathbf{P}_x(|\sum_{i=0}^{n-1} f(X_i)| > t) \leq C \exp(-c_1 t^\alpha / \mathbf{a}^\alpha) + C \pi^*(\theta)^{-1} \exp(-c_2 t^\alpha / \mathbf{b}^\alpha) + C \exp(-c_3 t^2 / (4\mathbf{c})^2)$ の形の一般化された指数的尾部境界を確立し、ドリフトおよびモーメントパラメータに依存する明示的定数を伴う。
• ヒルベルト空間値加法的関数 $G$ に対して、期待値ノルムは $\mathbf{E}_x \|\sum_{i=0}^{n-1} G(X_i)\| \leq 2\Gamma(1+1/\alpha)\mathbf{a} + 2^{1/\alpha}e\Gamma(1+1/\alpha)\log^{1/\alpha}(e/\pi^*(\theta))\mathbf{b} + 4\alpha^{-1/2}\Gamma(2/\alpha)^{1/2}\mathbf{c}\sqrt{n}$ を満たし、$\mathbf{a}, \mathbf{b}, \mathbf{c}$ はドリフトおよびモーメント条件から計算可能である。
• 正規化された経験平均の尾部確率は $\mathbf{P}_x(\|\frac{1}{n}\sum_{i=0}^{n-1} G(X_i)\| \geq 2t) \leq \exp(-\frac{(1-2\varepsilon)^4 n t^2}{2(1+\varepsilon)^2 \sigma^2}) + e\exp(-\frac{n t (1-2\varepsilon)^2}{2M(1+\varepsilon^{-1})(3+4\varepsilon^{-1})}) + e^8 \exp(-\frac{(\varepsilon(1-2\varepsilon)n t)^\alpha}{2\mathbf{c}^\alpha}) + \text{lower-order terms}$ を満たし、$M = \mathbf{c}(3\alpha^{-2}\log n)^{1/\alpha}$ である。
• $t$ が $n$ とは独立であっても境界は有効であり、支配的項は分散駆動型の指数的項であるため、大数の法則の領域において意味のある集中が保証される。
• 本手法により、指数的不等式における明示的定数が得られ、弱いモーメント仮定の下でMCMC収束解析や統計的推定に直接応用可能である。