[論文レビュー] Estimating the Mixing Time of Ergodic Markov Chains

Geoffrey Wolfer, Aryeh Kontorovich|arXiv (Cornell University)|Feb 1, 2019

Markov Chains and Monte Carlo Methods参考文献 48被引用数 6

ひとこと要約

本稿では、1つの軌道からのみ、一般のエルゴディック有限マルコフ連鎖の混合時間の推定に新たな手法を提案する。非可逆設定における既存の限界を克服するため、擬似スペクトルギャップを主要な推定器として導入することで、状態数および最小定常確率に対して多項式的依存を達成する。最小上限最適の標本複雑度を達成し、既存の研究より改善されたレートを示す完全に経験的信頼区間を提供する。

ABSTRACT

We address the problem of estimating the mixing time $t_{\mathsf{mix}}$ of an arbitrary ergodic finite-state Markov chain from a single trajectory of length $m$. The reversible case was addressed by Hsu et al. [2019], who left the general case as an open problem. In the reversible case, the analysis is greatly facilitated by the fact that the Markov operator is self-adjoint, and Weyl's inequality allows for a dimension-free perturbation analysis of the empirical eigenvalues. As Hsu et al. point out, in the absence of reversibility (which induces asymmetric pair probabilities matrices), the existing perturbation analysis has a worst-case exponential dependence on the number of states $d$. Furthermore, even if an eigenvalue perturbation analysis with better dependence on $d$ were available, in the non-reversible case the connection between the spectral gap and the mixing time is not nearly as straightforward as in the reversible case. Our key insight is to estimate the pseudo-spectral gap $γ_{\mathsf{ps}}$ instead, which allows us to overcome the loss of symmetry and to achieve a polynomial dependence on the minimal stationary probability $π_\star$ and $γ_{\mathsf{ps}}$. Additionally, in the reversible case, we obtain simultaneous nearly (up to logarithmic factors) minimax rates in $t_{\mathsf{mix}}$ and precision $\varepsilon$, closing a gap in Hsu et al., who treated $\varepsilon$ as constant in the lower bounds. Finally, we construct fully empirical confidence intervals for $γ_{\mathsf{ps}}$, which shrink to zero at a rate of roughly $1/\sqrt{m}$, and improve the state of the art in even the reversible case.

研究の動機と目的

• 一般（非可逆）エルゴディックマルコフ連鎖の混合時間を、1つの軌道からのみ推定すること。これは、先行研究が残した空白を埋めるものである。
• 非可逆設定における状態サイズに指数的依存が生じる問題を、スペクトルギャップの代わりに擬似スペクトルギャップを用いることで克服すること。
• 混合時間および定常分布パラメータの両方の推定において、ミニマックス最適な標本複雑度を達成すること。
• 混合時間および擬似スペクトルギャップの完全に経験的な信頼区間を構築し、その縮小レートを $1/\sqrt{m}$ にすること。
• よりタイトな解析と向上した計算効率により、可逆および非可逆両ケースにおいて、最先端の境界を改善すること。

提案手法

• 本稿では、非可逆連鎖におけるスペクトルギャップの代理として、擬似スペクトルギャップ $\gamma_{\mathsf{ps}}$ を導入し、混合時間の上界および下界の両方を制御する。
• 対称化された経験的遷移行列を用いて定常分布の摂動境界を導出し、非可逆性下でも安定した推定を可能にする。
• 行列マルティングルの濃度不等式（例：フレドマン型の境界）を用いて、経験的推定器と真の値との乖離を制御する。
• $t_{\mathsf{mix}}$ や $\pi_\star$ の知識を一切必要としない、$\gamma_{\mathsf{ps}}$ および $\pi_\star$ の完全に経験的な信頼区間を構築する。
• 遷移行列の乗法的可逆化を用いて、擬似スペクトルギャップと混合時間の境界との関係を確立する。
• 上界と一致する対数要因を除いて、標本複雑度のミニマックス下界を確立し、最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 一般のエルゴディックマルコフ連鎖の混合時間は、状態数および最小定常確率に対して多項式的依存で推定可能か？
• RQ2 非可逆連鎖における自己随伴性の欠如をどのように克服し、安定的かつ正確な推定を達成できるか？
• RQ3 可逆および非可逆両設定において、混合時間および定常分布の推定におけるミニマックス標本複雑度は何か？
• RQ4 連鎖のパラメータに関する事前知識なしに、混合時間の完全に経験的な信頼区間を構築可能か？
• RQ5 提案手法は、既存手法と比較して、標本効率性および計算コストの点でどのように優れているか？

主な発見

• 相対誤差 $\varepsilon$ で $\pi_\star$ を推定するためのミニマックス標本複雑度は $\tilde{\Theta}\left(\frac{t_{\mathsf{mix}}}{\varepsilon^2 \pi_\star}\right)$ であり、可逆ケースでさえも既存の境界を改善する。
• 絶対誤差 $\varepsilon$ で擬似スペクトルギャップ $\gamma_{\mathsf{ps}}$ を推定するための上界は $\tilde{\mathcal{O}}\left(\frac{\max\{t_{\mathsf{mix}}, \mathcal{C}(\boldsymbol{M})\}}{\pi_\star \varepsilon^2}\right)$ であり、$\mathcal{C}(\boldsymbol{M}) \leq d / \pi_\star$ が成り立つ。
• 混合時間 $t_{\mathsf{mix}}$ を推定するためのミニマックス下界は $\tilde{\Omega}\left(\frac{t_{\mathsf{mix}} d}{\varepsilon^2}\right)$ であり、上界が対数要因を除いてタイトであることを示している。
• 本稿では、$\gamma_{\mathsf{ps}}$ および $\pi_\star$ の完全に経験的な信頼区間を構築し、その縮小レートが $1/\sqrt{m}$ に達している。これは、先行研究の最先端手法を上回る。
• 可逆ケースでは、$t_{\mathsf{mix}}$ および $\varepsilon$ においてほぼミニマックスレートを達成し、Hsuら（2019）が残したギャップを埋めている。
• 本稿の解析により、非可逆ケースにおける定常分布の次元に依存しない摂動境界が得られ、先行研究で見られた $d$ に指数的依存する問題を回避する。