[論文レビュー] Local-Global MCMC kernels: the best of both worlds

Sergey Samsonov, Evgeny Lagutin+4 more|arXiv (Cornell University)|Nov 4, 2021

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、局所的（例：MALA、HMC）およびグローバル的（i-SIR）なサンプラーを組み合わせることで、高次元および重尾分布における高速な混合とより良い探索を実現するハイブリッド・マルコフ連鎖モンテカルロ法Ex²MCMCを提案する。グローバルな提案分布の均一な適応を要件とせず、V-一様幾何的正帰属性を証明し、サンプリング中に訓練される正規化フローを用いた適応版FlEx²MCMCを導入。GANベースのエネルギーモデルにおいて優れた性能を示す。

ABSTRACT

Recent works leveraging learning to enhance sampling have shown promising results, in particular by designing effective non-local moves and global proposals. However, learning accuracy is inevitably limited in regions where little data is available such as in the tails of distributions as well as in high-dimensional problems. In the present paper we study an Explore-Exploit Markov chain Monte Carlo strategy ($Ex^2MCMC$) that combines local and global samplers showing that it enjoys the advantages of both approaches. We prove $V$-uniform geometric ergodicity of $Ex^2MCMC$ without requiring a uniform adaptation of the global sampler to the target distribution. We also compute explicit bounds on the mixing rate of the Explore-Exploit strategy under realistic conditions. Moreover, we also analyze an adaptive version of the strategy ($FlEx^2MCMC$) where a normalizing flow is trained while sampling to serve as a proposal for global moves. We illustrate the efficiency of $Ex^2MCMC$ and its adaptive version on classical sampling benchmarks as well as in sampling high-dimensional distributions defined by Generative Adversarial Networks seen as Energy Based Models. We provide the code to reproduce the experiments at the link: https://github.com/svsamsonov/ex2mcmc_new.

研究の動機と目的

• MCMCを用いた高次元および重尾分布における混合の遅さと探索の不十分さを解決すること。
• 局所的およびグローバルなMCMCカーネルを組み合わせ、両者の長所を活かすこと：局所的カーネルは尾部における正確なサンプリングを、グローバルなカーネルは迅速な探索を担う。
• グローバルな提案分布の均一な適応を要件としないハイブリッド戦略の収束性および混合速度に関する理論的保証を提供すること。
• サンプリング中にリアルタイムに訓練される正規化フローを用いた適応版FlEx²MCMCの開発および評価。
• GANをエネルギーモデルとして用いた挑戦的なベンチマークにおいて、本手法の有効性を実証すること。

提案手法

• 局所的MCMCカーネル（例：MALA、HMC）と独立で並列な提案を行うグローバルなi-SIRカーネルを交互に使用するマルコフ連鎖であるEx²MCMCを導入。
• 1イテレーションあたり複数のグローバルな提案をi-SIRカーネルで生成することで、並列処理および探索効率を向上。
• 高次元または重尾領域における拒否率を低減するために、サンプルを精錬するためのリジュベネーションカーネル（例：MALAを3ステップ）を採用。
• サンプリング中にオンラインで訓練される正規化フローを用いてグローバルな提案分布を改善する、適応型バージョンであるFlEx²MCMCを提案。
• グローバルな提案が均一に適応されていなくても、やや厳しい条件下でもV-一様幾何的正帰属性を確立。
• 反復的インポートランスリサンプリングを用いて提案品質を維持し、高次元空間におけるロバスト性を確保。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルなMCMCカーネルを組み合わせることで、高次元および重尾分布における混合時間の短縮と探索の向上が顕著に達成可能か？
• RQ2 グローバルな提案の均一な適応を要件としない条件下で、ハイブリッドEx²MCMC戦略がV-一様幾何的正帰属性を達成できる条件は何か？
• RQ3 GANのような複雑なエネルギーモデルにおいて、Ex²MCMCは純粋に局所的またはグローバルなMCMC手法と比較して、性能に顕著な差を示すか？
• RQ4 サンプリング中に訓練される正規化フローを用いた適応戦略（例：FlEx²MCMC）は、提案品質およびサンプリング効率を向上させられるか？
• RQ5 訓練済みのGANからのサンプリングにおいて、ハイブリッド戦略の実効的影響は、FIDやインセプションスコアといった指標にどのように現れるか？

主な発見

• グローバルなi-SIRカーネル単体に比べ、Ex²MCMCははるかに緩い条件下でもV-一様幾何的正帰属性を達成でき、均一な提案適応が不要な強固な収束性を実現。
• MALAやi-SIR単体と比較して、より高速な混合と優れた探索性能を示し、SN-GANおよびDC-GANの実験では、モード間を飛び移る挙動と低密度領域における正確なサンプリングの両方を再現。
• FlEx²MCMCはDC-GANにおいて、エネルギー値が低く抑えられ、FIDおよびインセプションスコアの指標が向上し、10,000本のトラジェクトリーテストでより高品質なサンプル生成を実現。
• DC-GANおよびSN-GANのベンチマークにおいて、Ex²MCMCおよびFlEx²MCMCはi-SIRやMALAよりも平均エネルギー値が低く、ターゲット分布のカバレッジとサンプリング効率の両面で優位性を示した。
• FlEx²MCMCにおける正規化フローの適応的訓練により、グローバルな提案が次第に改善され、拒否率が低下し、収束速度が向上した。
• 実験的結果から、局所的リジュベネーションステップが、グローバルな提案が不完全であっても、局所的モードに閉じ込められるリスクを顕著に低減することが明らかになった。