[論文レビュー] Mixing Time Estimation in Ergodic Markov Chains from a Single Trajectory with Contraction Methods

Geoffrey Wolfer|arXiv (Cornell University)|Dec 14, 2019

Markov Chains and Monte Carlo Methods参考文献 18被引用数 5

ひとこと要約

この論文は、遷移核の知識を必要とせず、1つの軌道から、エルゴディックなマルコフ連鎖の混合時間 $t_{\mathsf{mix}}$ を直接推定する、新しい収縮に基づく手法を導入する。一般化されたドブリーシュイン係数 $\kappa_{\mathsf{gen}}$ を定義することで、$t_{\mathsf{mix}}$ を小さな普遍定数の範囲で制御するデータ依存の信頼区間を提供する。従来のスペクトル法が緩和時間 $t_{\mathsf{rel}}$ を代理として推定するのに対し、本手法はそれを上回る性能を発揮する。

ABSTRACT

The mixing time $t_{\mathsf{mix}}$ of an ergodic Markov chain measures the rate of convergence towards its stationary distribution $\boldsymbol{\pi}$. We consider the problem of estimating $t_{\mathsf{mix}}$ from one single trajectory of $m$ observations $(X_1, . . . , X_m)$, in the case where the transition kernel $\boldsymbol{M}$ is unknown, a research program started by Hsu et al. [2015]. The community has so far focused primarily on leveraging spectral methods to estimate the relaxation time $t_{\mathsf{rel}}$ of a reversible Markov chain as a proxy for $t_{\mathsf{mix}}$. Although these techniques have recently been extended to tackle non-reversible chains, this general setting remains much less understood. Our new approach based on contraction methods is the first that aims at directly estimating $t_{\mathsf{mix}}$ up to multiplicative small universal constants instead of $t_{\mathsf{rel}}$. It does so by introducing a generalized version of Dobrushin's contraction coefficient $\kappa_{\mathsf{gen}}$, which is shown to control the mixing time regardless of reversibility. We subsequently design fully data-dependent high confidence intervals around $\kappa_{\mathsf{gen}}$ that generally yield better convergence guarantees and are more practical than state-of-the-art.

研究の動機と目的

• 1つの軌道から、緩和時間 $t_{\mathsf{rel}}$ を代理として用いるのではなく、エルゴディックなマルコフ連鎖の混合時間 $t_{\mathsf{mix}}$ を直接推定すること。
• 主に可逆連鎖に限定される従来のスペクトル法の限界を克服し、$t_{\mathsf{mix}}$ を直接制御すること。
• 可逆・非可逆の両方の連鎖に対して機能する手法を開発し、$t_{\mathsf{mix}}$ に対して普遍的な乗法的保証を提供すること。
• 一般化された収縮係数 $\kappa_{\mathsf{gen}}$ の完全にデータ依存する信頼区間を構築し、実用的適用性を確保すること。

提案手法

• 可逆性に依存せず混合時間を制御する一般化されたドブリーシュイン収縮係数 $\kappa_{\mathsf{gen}}$ を導入する。
• $\kappa_{\mathsf{gen}}$ を遷移核間の最大収縮を測る指標として定義し、古典的なドブリーシュイン係数を非可逆設定に拡張する。
• $m$ 個の観測からなる1つの軌道を用いて $\kappa_{\mathsf{gen}}$ のデータ駆動型推定器を設計し、非漸近的な信頼区間を可能にする。
• $\kappa_{\mathsf{gen}}$ が可逆性に依存せず、普遍定数の範囲で $t_{\mathsf{mix}}$ を制御することを理論的に示す。
• 集中不等式を用いて、推定された $\kappa_{\mathsf{gen}}$ の周囲に高信頼区間を導出し、有限標本における有効性を保証する。
• 得られる信頼区間が、$t_{\mathsf{mix}}$ を直接推定するため、最先端のスペクトル法よりもタイトで実用的な収束保証を提供することを示す。

実験結果

リサーチクエスチョン

• RQ1 可逆性を仮定せず、1つの軌道からのデータ駆動型手法で、混合時間 $t_{\mathsf{mix}}$ を直接推定できるか？
• RQ2 可逆・非可逆の両方の連鎖に対して $t_{\mathsf{mix}}$ を制御する一般化された収縮係数 $\kappa_{\mathsf{gen}}$ が存在するか？
• RQ3 1つの軌道のみを用いて $\kappa_{\mathsf{gen}}$ の高信頼区間を構築でき、有限標本における有効性を保証できるか？
• RQ4 本手法の収束保証は、$t_{\mathsf{rel}}$ を推定するスペクトル法と比較してどのように異なるか？
• RQ5 遷移核の事前知識がなくても、$t_{\mathsf{mix}}$ に対して乗法的誤差境界を達成できるか？

主な発見

• 一般化された収縮係数 $\kappa_{\mathsf{gen}}$ は、非可逆連鎖に対しても、普遍定数の範囲で混合時間 $t_{\mathsf{mix}}$ を制御する。
• 本手法は $\kappa_{\mathsf{gen}}$ のデータ依存信頼区間を提供し、従来のスペクトル的手法よりもタイトで実用的な収束保証を実現する。
• 本手法は $t_{\mathsf{rel}}$ を代理として用いるのではなく、$t_{\mathsf{mix}}$ を直接推定するため、そのような近似のゆるさを回避する。
• 理論的境界は非漸近的であり、可逆性に依存せず、任意のエルゴディックなマルコフ連鎖に適用可能である。
• 本手法は観測された軌道に完全に適応し、遷移核の事前知識を一切必要としない。
• $\kappa_{\mathsf{gen}}$ の信頼区間は集中不等式を用いて構築され、有限標本における有効性と実用的適用性を保証する。