[論文レビュー] Fast Mixing Markov Chains for Strongly Rayleigh Measures, DPPs, and Constrained Sampling

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Aug 2, 2016

Markov Chains and Monte Carlo Methods参考文献 31被引用数 4

ひとこと要約

本稿では、強力なレイリー（SR）測度および制約付き離散分布（特に行列式点過程（DPPs）を含む）に対する、最初の証明可能に高速な混合を示すマルコフ連鎖サンプラーを提示する。SR測度に対して多項式時間の混合時間バウンドを確立し、基数制約およびマトロイド制約付きモデルのための効率的な連鎖を構築し、DPPの一般化に対する最初の理論的保証を提供する。

ABSTRACT

We study probability measures induced by set functions with constraints. Such measures arise in a variety of real-world settings, where prior knowledge, resource limitations, or other pragmatic considerations impose constraints. We consider the task of rapidly sampling from such constrained measures, and develop fast Markov chain samplers for them. Our first main result is for MCMC sampling from Strongly Rayleigh (SR) measures, for which we present sharp polynomial bounds on the mixing time. As a corollary, this result yields a fast mixing sampler for Determinantal Point Processes (DPPs), yielding (to our knowledge) the first provably fast MCMC sampler for DPPs since their inception over four decades ago. Beyond SR measures, we develop MCMC samplers for probabilistic models with hard constraints and identify sufficient conditions under which their chains mix rapidly. We illustrate our claims by empirically verifying the dependence of mixing times on the key factors governing our theoretical bounds.

研究の動機と目的

• 組合せ的制約下での離散確率分布に対する、高速で証明可能な効率性を持つマルコフ連鎖サンプラーの開発。
• 一般DPPのための高速混合という長年の未解決問題の解決。
• 線形重み仮定を超えて、非線形な集合関数を伴う制約付きモデルへのMCMCサンプリングの拡張。
• サンプリング連鎖の高速混合を保証する集合関数に関する構造的条件の同定。
• 実世界のデータセットを用いた実験を通じて、理論的バウンドの経験的検証。

提案手法

• 負の相関性の性質を活用した、新たな射影に基づくマルコフ連鎖（Mix連鎖）を提案し、強力レイリー測度からのサンプリングを実現。
• 遷移行列のスペクトル解析とパスカップリングを用いて、多項式混合時間バウンドを確立。
• 基数制約またはグループ制約付きのマトロイド制約付きモデル（例：一様マトロイド、分割マトロイド）における交換連鎖の分析。
• |S| ≤ k 制約のための追加-削除連鎖を導入し、|S| = k とは異なる混合挙動を示すことを証明。
• 混合時間の依存関係を、逆温度βと構造的パラメータζ_Fまたはαを用いて定量化。
• Aileronsおよびイジングモデルのデータセットを用いて、PSRFおよび収束診断法による理論的予測の経験的検証。

実験結果

リサーチクエスチョン

• RQ1 すべての強力レイリー測度（一般DPPを含む）に対して、多項式時間で混合するマルコフ連鎖を設計できるか？
• RQ2 集合関数Fにどのような条件が課されると、制約付き分布からのサンプリングで高速混合が保証されるか？
• RQ3 |S| = k と |S| ≤ k の制約下での追加-削除連鎖の混合時間はどのように異なるか？
• RQ4 ζ_Fおよびαに基づく理論的混合時間バウンドが、経験的観察とどの程度整合するか？
• RQ5 線形重み仮定に依存せずに、制約付きDPPのための高速混合を達成できるか？

主な発見

• 提案されたMix連鎖は、すべての強力レイリー測度に対して多項式混合時間を達成し、一般DPPに対する最初の証明可能に高速なMCMCサンプラーを提供する。
• マトロイド制約付きモデル（例：|S| = k または分割制約）において、やや弱い構造的仮定のもとで交換連鎖は多項式時間で混合する。
• |S| ≤ k の追加-削除連鎖は、|S| = k とは著しく異なる混合挙動を示し、スペクトル差が大きい状況ではより速い収束を示す。
• 経験的結果から、混合時間が基底集合サイズNにほぼ線形に増加することが確認され、小規模から中規模のスケーリングにおいてもスケーラブルであることが示された。
• 混合時間の理論的バウンドはζ_Fおよびβに依存しており、βとδを変化させた場合の収束速度からその依存関係が経験的に裏付けられた。
• 特に最初の固有値が著しく集中している場合（例：大きな最初の固有値をもつDPP）、Mix連鎖はその要素交換能力のおかげで追加-削除連鎖を上回る性能を示した。