[論文レビュー] Monte Carlo Markov Chain Algorithms for Sampling Strongly Rayleigh Distributions and Determinantal Point Processes

Nima Anari, Shayan Oveis Gharan+1 more|arXiv (Cornell University)|Feb 16, 2016

Markov Chains and Monte Carlo Methods参考文献 18被引用数 13

ひとこと要約

本稿では、強いネガティブ相関を示す強力なレイリー分布と呼ばれる確率分布のクラスからのサンプリングに向けた高速に混合するマーカフチェインモンテカルロ（MCMC）アルゴリズムを提示する。この手法は、強力なレイリー測度の構造的性質を活用し、k-行列式ポイントプロセスからの近似的なサンプリングを効率的に生成する。k-行列式ポイントプロセスは機械学習や組合せ最適化において重要な役割を果たす。混合時間はO(nk log(1/(εμ(S))))ステップで達成される。

ABSTRACT

Strongly Rayleigh distributions are natural generalizations of product and determinantal probability distributions and satisfy strongest form of negative dependence properties. We show that the "natural" Monte Carlo Markov Chain (MCMC) is rapidly mixing in the support of a {\em homogeneous} strongly Rayleigh distribution. As a byproduct, our proof implies Markov chains can be used to efficiently generate approximate samples of a $k$-determinantal point process. This answers an open question raised by Deshpande and Rademacher.

研究の動機と目的

• 強いネガティブ相関を示す製品分布や行列式分布を一般化する強力なレイリー分布に対する効率的なサンプリングアルゴリズムの開発。
• k-行列式ポイントプロセスに対するMCMCサンプリングの効率性に関する未解決問題の解決。これは、[Kan13, LJS15, RK15] で先行研究がなされている。
• 同次的強力なレイリー分布の定義域上での自然なMCMC遷移核が高速に混合することの証明。これにより、多項式時間の近似的なサンプリングが可能となる。
• 混合時間の下限がn、k、μ(S)にのみ依存することを確立し、最小遷移確率を用いた明示的な境界を導出すること。
• 強力なレイリー分布をサイズkに制限しても、依然として強力なレイリー性質を保つことの証明。これにより、本手法の適用可能性が維持される。

提案手法

• k-同次的強力なレイリー分布μの定義域上に、1つの要素をランダムに取り入れ、1つの要素をランダムに除外する操作を含む、ラジオなMCMCチェインを定義する。
• メトロポリス・ハスティングス方式の受理確率を用いる：提案遷移T = S−i+jに対してmin{1, μ(T)/μ(S)}。
• Brändénが示したように、μの定義域がマトロイドの基底を形成することを根拠に、詳細釣合と不可約性を証明する。
• 負の関連性と遷移グラフ上の最大フロー・最小カットの議論を用いて、Poincaré（スペクトル）ギャップを評価することで、高速混合を確立する。
• フロー構成を用いて、μ-分布した部分集合間のユニットフローの存在を保証するハルの条件を証明し、スペクトルギャップが少なくとも1/(2kn)以上であることを示す。
• 混合時間の境界τ_S(ε) ≤ (1/C_μ) · log(1/(ε·μ(S)))を導出する。ここでC_μ ≥ 1/(2kn)であり、μ(S)のオракルアクセスを前提とすることで、多項式時間O(poly(n,k,log(1/ε)))の実行時間となる。

実験結果

リサーチクエスチョン

• RQ1 強力なレイリー分布に対する自然なMCMCアルゴリズムが高速に混合することを証明できるか？
• RQ2 MCMC手法はk-行列式ポイントプロセスからの効率的かつ近似的なサンプリングを可能にするか？
• RQ3 k-同次的強力なレイリー分布の定義域上でのMCMCチェインの混合時間は何か？
• RQ4 強力なレイリー測度の構造的性質を用いて、MCMCチェインのスペクトルギャップを下から抑えられるか？
• RQ5 強力なレイリー分布をサイズkに制限しても、依然として強力なレイリー性質を保つのか？また、この性質はサンプリングの効率性を維持するのか？

主な発見

• k-同次的強力なレイリー分布に対する自然なMCMCアルゴリズムは、O(nk log(1/(ε·μ(S))))ステップで混合し、ε-近似サンプルを提供する。
• MCMCチェインのスペクトルギャップC_μは1/(2kn)以上であり、μ(S)に関する弱い条件下でも高速混合が保証される。
• 本手法により、k-行列式ポイントプロセスからの効率的かつ近似的なサンプリングが可能となり、[DR10]で提起された未解決問題が解決される。
• 強力なレイリー分布をサイズkに制限しても、依然として強力なレイリー性質を保ち、MCMC手法の適用可能性が維持される。
• 証明は負の関連性と最大フロー・最小カットの議論を用いて、遷移グラフ上のハルの条件を検証する。
• μ(S)のオラクルアクセスを前提とすれば、アルゴリズムは多項式時間O(poly(n,k,log(1/ε)))で実行可能であり、組合せ的・確率的応用において実用的である。