[論文レビュー] A Polynomial Time MCMC Method for Sampling from Continuous DPPs

Shayan Oveis Gharan, Alireza Rezaei|arXiv (Cornell University)|Oct 20, 2018

Markov Chains and Monte Carlo Methods参考文献 25被引用数 4

ひとこと要約

本稿では、暖かい初期状態のもとで、多項式時間で収束する、連続的k-決定的ポイントプロセス（DPP）からのサンプリングに初めてのマルコフ連鎖モンテカルロ（MCMC）手法を提示する。この手法は、収束が保証されるギブスサンプラーを用い、k-DPPのサンプリングに効率的なアルゴリズムを構築する。このアルゴリズムは、d次元の単位球面上の球面ガウスカーネルを用いたk-DPPからのサンプリングを、kおよびdに関して多項式時間で実行する。

ABSTRACT

We study the Gibbs sampling algorithm for continuous determinantal point processes. We show that, given a warm start, the Gibbs sampler generates a random sample from a continuous $k$-DPP defined on a $d$-dimensional domain by only taking $ ext{poly}(k)$ number of steps. As an application, we design an algorithm to generate random samples from $k$-DPPs defined by a spherical Gaussian kernel on a unit sphere in $d$-dimensions, $\mathbb{S}^{d-1}$ in time polynomial in $k,d$.

研究の動機と目的

• 機械学習や物理学で広く使われているが、依然としてそのような手法が存在しない連続的k-DPPのための、保証付きの効率的サンプリングアルゴリズムの設計という未解決問題に取り組む。
• 連続的k-DPPのギブスサンプラーの収束時間を分析し、暖かい初期状態のもとでの高速収束を確立する。
• d次元の単位球面上の球面ガウスカーネルによって定義されるk-DPPのための実用的なサンプリングアルゴリズムを開発する。
• スペクトル的および幾何的議論を用いて、連続的k-DPPのギブスサンプラーの導出率および収束時間に関する理論的境界を提供する。
• カーネルが特定のスペクトル的条件を満たす場合、特に球面ガウスカーネルの場合に、ギブスサンプラーが多項式時間で収束することを示す。

提案手法

• 本稿では、ギブスサンプラーをMCMC手法として採用している。各ステップで、現在のk点集合から一様にランダムに点を1つ削除し、更新されたカーネル行列の行列式に比例する確率で新しい点yを挿入する。
• 収束時間の分析は、導出率の境界を用い、導出率とターゲットk-DPP分布との全変動距離との関係を活用する。
• 分析は、特に球面ガウスカーネルの連続的カーネル作用素の固有値分解に依存しており、メルサールの定理を用いて固有値と射影作用素のトレースを関連付ける。
• 特徴ベクトルが現在の点集合の直交補空間に射影されるトレースを用いて、ギブスステップ後の期待行列式比の下界を導出する。
• 球面ガウスカーネルの場合、球面上での既知の固有値の漸近的性質を用い、尾部固有値の和をバウンドすることで、σおよびdに関する特定の条件下で、期待行列式増加量に定数下界を保証する。
• アルゴリズムは、σ ≤ 1/(2√log k) のとき、期待行列式比がゼロから離れていることを示すことにより、球面ガウスカーネルに対してインスタンス化され、多項式時間収束が可能になる。

実験結果

リサーチクエスチョン

• RQ1 連続的k-DPPのギブスサンプラーが、暖かい初期状態のもとで多項式時間で収束するかどうかを示せるか？
• RQ2 カーネルにどのようなスペクトル的または幾何的条件が、連続的k-DPPのギブスサンプラーの高速収束を保証するか？
• RQ3 球面ガウスカーネルを用いた連続的k-DPPのための、保証付き効率的サンプリングアルゴリズムを設計可能か？
• RQ4 ギブス更新の下で、期待行列式比はどのように振る舞い、下界を保証することで高速収束を確保できるか？
• RQ5 球面ガウスカーネルを用いた連続的k-DPPの収束時間は、kおよびdにどのように依存するか？

主な発見

• 連続的k-DPPのギブスサンプラーは、暖かい初期状態のもとで、O(k⁴) · log(var(π/μ₀)/ε) の時間で収束し、多項式時間収束を確立する。
• 単位球面S^{d−1}上での球面ガウスカーネルに対して、σ ≤ 1/(2√log k) のとき、ギブスサンプラーは多項式時間収束を達成し、収束時間はpoly(k, d)でバウンドされる。
• σ ≤ 1/(2√log k) のとき、ギブスステップ後の期待行列式比は定数下限を保証し、良好な導出率と高速収束をもたらす。
• 同じ条件下で、球面ガウスカーネル作用素の尾部固有値の和はΩ(1)で下限が保証され、これは導出率の境界において極めて重要である。
• 本手法は、連続的k-DPPのためのMCMCベースのサンプリングアルゴリズムで、保証付きの多項式時間性能を持つ最初のものであり、文献における重要な空白を埋める。
• 球面ガウスカーネルに対して、kおよびdに関して多項式時間で実行されるため、多様なサンプリングタスクにおける実用的応用において効率的である。