[論文レビュー] Error bounds for Approximations of Markov chains used in Bayesian Sampling

James E. Johndrow, Jonathan C. Mattingly|arXiv (Cornell University)|Nov 15, 2017

Markov Chains and Monte Carlo Methods参考文献 20被引用数 12

ひとこと要約

本稿は、重み付き全 Variation 及び Wasserstein 距離を用い、Lyapunov 関数を活用することで、ベイズ推定におけるマルコフ連鎖の近似に対する誤差境界を確立する。厳密な収縮性を保証するための、一般で検証可能な条件を提示し、時間平均および不変測度における近似誤差のタイトな境界を得る。応用例として、MCMC 法におけるガウス近似とミニバッチ処理を含む。

ABSTRACT

We give a number of results on approximations of Markov kernels in total variation and Wasserstein norms weighted by a Lyapunov function. The results are applied to examples from Bayesian statistics where approximations to transition kernels are made to reduce computational costs.

研究の動機と目的

• 高次元ベイズ推定における計算効率の良いマルコフ連鎖近似の増大するニーズに対応する。
• MCMC アルゴリズムにおける簡略化された遷移核によって生じる近似誤差を制御する。
• 時間平均および不変測度における誤差を定量化するため、重み付き距離（全 Variation 及び Wasserstein）を用いた統一的枠組みを構築する。
• 元の核が重み付き距離で厳密収縮的であることが保証される検証可能な条件を確立し、誤差境界を導く。
• 本枠組みを、ガウス近似を伴うギブスサンプリングやミニバッチ化されたメトロポリス・ハスティングス法を含む実用的ベイズ問題に応用する。

提案手法

• Lyapunov 関数を用いた重み付き全 Variation 及び 1-Wasserstein 範囲を用い、収束および近似誤差を測定する。
• 重み付き半距離数における収縮的議論を適用し、正確な連鎖と近似連鎖の不変測度および時間平均の差を境界付ける。
• ポisson 方程式およびポテンシャル関数技術を用いて、時間平均の分散境界を導出する。
• 特に標準的でない Wasserstein 的半距離数において、元の核が重み付き距離で厳密収縮的であることを検証する。
• Hairer (2011) のインスピレーションを受けて、重み付きessupremum 範囲における摂動論を用い、スペクトルギャップおよび収束速度の境界を導出する。
• 連続時間の議論を離散時間マルコフ連鎖に拡張する、Wasserstein 的半距離数における有限時間収縮結果の導入。

実験結果

リサーチクエスチョン

• RQ1 マルコフ核が重み付き全 Variation または Wasserstein 範囲で厳密収縮的であるのはどのような条件下か？
• RQ2 MCMC において簡略化された遷移核が用いられる場合、時間平均および不変測度における近似誤差はどのように境界づけられるか？
• RQ3 元の核が重み付き Wasserstein 的半距離数で厳密収縮的であるための十分条件は何か？
• RQ4 誤差境界は、近似誤差 ε および選択された距離におけるスペクトルギャップにどのように依存するか？
• RQ5 本枠組みは、ミニバッチ化されたメトロポリス・ハスティングス法や低ランク共分散近似といった実用的ベイズ問題に適用可能か？

主な発見

• 本稿は、元の核が重み付き距離（例えば全 Variation または Wasserstein）で厳密収縮的であるならば、時間平均における近似誤差が、点ごとの近似誤差 ε に比例する項によって境界づけられることを確立している。
• |φ| < √V を満たす関数 φ に対して、近似連鎖における時間平均の分散は、O(ε) + O(1/n) + O(1/n²) の形の境界を満たし、その定数はスペクトルギャップおよび Lyapunov 関数に依存する。
• 近似誤差 ε が小さいとき、時間平均誤差の境界は O(ε) に減少し、その定数は重み付きノルムにおけるスペクトルギャップ 1−ᾱ(1/2) に依存する。
• 本手法は、全 Variation では近くないが、1-Wasserstein 範囲では近い（例えば、ガウス過程モデルにおける低ランク共分散近似など）特異な近似にも適用可能である。
• 著者らは、ガウス近似およびミニバッチ化されたメトロポリス・ハスティングス法といった主要な例について、重み付き Wasserstein 的半距離数における厳密収縮条件を検証している。
• ポテンシャル関数 U が双対ノルムで適切に定義され有界である限り、本枠組みは、下半連続な距離 d に対して任意に一般化可能である。