[論文レビュー] Estimating Convergence of Markov chains with L-Lag Couplings

Niloy Biswas, Pierre Jacob+1 more|arXiv (Cornell University)|May 23, 2019

Markov Chains and Monte Carlo Methods参考文献 56被引用数 10

ひとこと要約

本稿では、固定時刻 t におけるマルコフ連鎖の周辺分布と不変分布の間の全 Variation 距離または Wasserstein 距離の非漸近的上界を推定するために、L-ラグ結合を導入する。2つの連鎖をラグ L で結合し、それらの一致時刻をモニタリングすることで、MCMC アルゴリズムの収束診断を計算可能かつ実用的に提供する。これにより、バーンイン期間の評価、アルゴリズムの比較、および逐次モンテカルロや重要度サンプリングにおけるバイアス評価が可能になる。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods generate samples that are asymptotically distributed from a target distribution of interest as the number of iterations goes to infinity. Various theoretical results provide upper bounds on the distance between the target and marginal distribution after a fixed number of iterations. These upper bounds are on a case by case basis and typically involve intractable quantities, which limits their use for practitioners. We introduce L-lag couplings to generate computable, non-asymptotic upper bound estimates for the total variation or the Wasserstein distance of general Markov chains. We apply L-lag couplings to the tasks of (i) determining MCMC burn-in, (ii) comparing different MCMC algorithms with the same target, and (iii) comparing exact and approximate MCMC. Lastly, we (iv) assess the bias of sequential Monte Carlo and self-normalized importance samplers.

研究の動機と目的

• マルコフ連鎖モンテカルロ（MCMC）法における周辺分布 πₜ と不変分布 π 間の距離に関する、計算可能で非漸近的な境界の欠如を解決すること。
• 漸近的近似や計算不能な定数に依存しない、MCMC 収束を評価する実用的なツールを開発すること。
• 同一の分布を標本とする異なる MCMC アルゴリズムの比較、正確 vs. 近似 MCMC の比較、および逐次モンテカルロと自己正規化重要度サンプリングにおけるバイアス評価を可能にすること。
• 1-ラグ結合を超えて、特に小さな t に対して鋭い境界を得るために、L-ラグ結合の適用範囲を拡張すること。

提案手法

• Xₜ と Yₜ₋ₗ が共通の核 K̄ を介して結合されるように、ラグ L を持つ結合マルコフ連鎖 (Xₜ, Yₜ) を構築する。この構成により、連鎖は確率的時刻 τ⁽ᴸ⁾ で正確に一致することが保証される。
• 一致時刻 τ⁽ᴸ⁾ は、t > L かつ Xₜ = Yₜ₋ₗ となる最初の時刻として定義され、以降は連鎖は常に結合された状態を維持する。
• この方法は、連鎖がまだ一致していない確率 P(τ⁽ᴸ⁾ > t) を用いて、πₜ と π 間の全 Variation 距離または Wasserstein 距離を推定する。
• 勾配に基づく MCMC アルゴリズム（MALA や ULA）に対しては、各ステップで一致確率を最大化する「反射最大結合」を用いる。
• 粒子 MCMC に対しては、結合粒子独立メトロポリス・ハスティングス（PIMH）アルゴリズムを用い、τ⁽ᴸ⁾ = L が正の確率で成立するようにする。
• 本手法は、イジングモデルにおけるギブスサンプリングおよび MALA や ULA を用いた高次元の対象分布（log-concave）に適用されている。

実験結果

リサーチクエスチョン

• RQ1 固定時刻 t に対して、L-ラグ結合が πₜ と π 間の距離に関する計算可能で非漸近的な上界を提供できるか？
• RQ2 ラグ L の選択が、特に小さな t における収束境界の鋭さに与える影響は何か？
• RQ3 L-ラグ結合を用いて、MCMC サンプリングにおけるバーンイン期間を評価できるか？
• RQ4 本手法は、同じ分布を標本とする異なる MCMC アルゴリズムを効果的に比較できるか？
• RQ5 本手法は、逐次モンテカルロおよび自己正規化重要度サンプラーにおけるバイアスを検出・定量できるか？

主な発見

• L-ラグ結合は、計算不能な定数が含まれるため通常の理論的境界では得られない、πₜ と π 間の全 Variation 距離および Wasserstein 距離に関する計算可能で非漸近的な上界を提供する。
• 遅延結合メカニズムのおかげで、1-ラグ結合よりも鋭い境界が得られ、特に t が小さい場合に顕著である。
• 離散的（イジングモデル）および連続的（log-concave 目的分布）な設定の両方で、MCMC 連鎖の適切なバーンイン期間を同定するのに成功している。
• MALA や ULA などの正確でない MCMC アルゴリズムと比較して、それらが目標分布に収束する速度を定量的に評価できる。
• 逐次モンテカルロおよび自己正規化重要度サンプラーにおけるバイアスを検出でき、理論的バイアス解析の計算的代替手段を提供する。
• 高次元のターゲット（d = 1000）における数値実験では、本手法が有効かつ計算可能であり、t が増加するにつれて収束境界が減少することが示された。