[論文レビュー] Estimating the Spectral Gap of a Reversible Markov Chain from a Short Trajectory

David Levin, Yuval Peres|arXiv (Cornell University)|Dec 16, 2016

Markov Chains and Monte Carlo Methods参考文献 1被引用数 8

ひとこと要約

本稿では、短い軌道長 𝒪̃(1/(π⋆γ)) のみを用いて、可逆マルコフ連鎖のスペクトルギャップ γ の新しい推定器を提案する。これは、従来の 𝒪̃(1/(π⋆γ³)) の境界に比べ顕著な改善である。本手法は、'飛ばし連鎖' のマルチスケール解析を用い、スペクトルギャップ γ_A が 0 から離れているラグ A を特定する。その後、γ_A に対して HKS 推定器を適用し、元の γ に戻して推定する。この推定は高確率かつ定数要因の精度で達成される。

ABSTRACT

The spectral gap $γ$ of an ergodic and reversible Markov chain is an important parameter measuring the asymptotic rate of convergence. In applications, the transition matrix $P$ may be unknown, yet one sample of the chain up to a fixed time $t$ may be observed. Hsu, Kontorovich, and Szepesvari (2015) considered the problem of estimating $γ$ from this data. Let $π$ be the stationary distribution of $P$, and $π_\star = \min_x π(x)$. They showed that, if $t = ilde{O}\bigl(\frac{1}{γ^3 π_\star}\bigr)$, then $γ$ can be estimated to within multiplicative constants with high probability. They also proved that $ ildeΩ\bigl(\frac{n}γ\bigr)$ steps are required for precise estimation of $γ$. We show that $ ilde{O}\bigl(\frac{1}{γπ_\star}\bigr)$ steps of the chain suffice to estimate $γ$ up to multiplicative constants with high probability. When $π$ is uniform, this matches (up to logarithmic corrections) the lower bound of Hsu, Kontorovich, and Szepesvari.

研究の動機と目的

• 短い軌道しか観測できない状況で、可逆マルコフ連鎖のスペクトルギャップ γ を推定する問題に対処すること。
• γ の推定に必要なステップ数を定数要因の範囲にまで削減し、先行研究を改善すること。
• γ の定数要因推定におけるサンプル複雑度を 𝒪̃(1/(π⋆γ)) にまで低く抑え、対数要因を除いて既知の下界と一致させること。
• エルゴドリシティと可逆性の最小限の仮定の下で動作する実用的で理論的根拠のある推定器を開発すること。

提案手法

• 本手法は、ラグ値 A = 2^k のマルチスケール探索を用い、飛ばし連鎖 {X_{As}} のスペクトルギャップ γ_A が 0 から離れている最初の A を特定する。
• 各候補 A に対して、飛ばし連鎖の軌道に HKS 推定器を適用し、γ_A を推定する。
• アルゴリズムは、推定された γ_A が 0.31 を超える最初の A で停止し、これにより A が小さすぎず、γ_A が小さすぎないことが保証される。
• 推定された γ_A は、関数 h(x) = 1 - (1 - x)^{1/A} を用いて γ に戻す。これは関係式 γ_A = 1 - (1 - γ)^A の逆関数である。
• 高確率の境界は、集中不等式と定理2における HKS 推定器の誤差境界を用い、複数スケールにわたる失敗確率を慎重に制御することで導出される。
• 最終的な推定器は、選択された飛ばし連鎖における HKS 推定器を組み合わせ、滑らかな変換を適用して γ を回復することで構築される。

実験結果

リサーチクエスチョン

• RQ1 短い軌道長 𝒪̃(1/(π⋆γ)) でのみ、可逆マルコフ連鎖のスペクトルギャップ γ を定数要因の範囲で推定可能か？
• RQ2 既知の下界 𝒪̃(1/(π⋆γ)) を対数要因を除いて一致するサンプル複雑度を達成することは可能か？
• RQ3 スペクトルギャップ γ_A が 0 から離れているような適切なラグ A をどのように特定できるか？
• RQ4 推定値 γ_A = 1 - (1 - γ)^A から γ の推定値を回復するにはどのような変換が必要か？

主な発見

• 本稿では、高確率で定数要因の範囲でスペクトルギャップ γ を推定するための 𝒪̃(1/(π⋆γ)) ステップで十分であることが確立された。
• 提案された推定器は、π が一様である場合、既知の下界 𝒪̃(1/(π⋆γ)) を対数要因を除いて一致するサンプル複雑度を達成する。
• 本手法は、2の累乗におけるダブルイングサーチを用いてラグ A を特定し、γ_A が 0 から離れていることを保証する。これにより、高信頼性での推定が可能になる。
• γ_A から γ への変換は、区間 [0.29, 0.55] で滑らかでリプシッツ連続であり、γ_A からの推定誤差の伝播が有界に抑えられ、安定な γ の推定が可能になる。
• t > (1/(π⋆γε²)) · 𝒪̃(log terms) を満たす場合、最終的な推定器は |γ̃/γ - 1| < ε を確率 1 - δ 以上で満たす。ここで log 項は n, δ⁻¹, γ⁻¹, π⋆⁻¹ に依存する。
• この結果は、Hsu, Kontorovich, および Szepesvári の先行研究を改善しており、同様の精度を達成するためのステップ数を 𝒪̃(1/(π⋆γ³)) から削減している。