[論文レビュー] Approximate Inference in Continuous Determinantal Point Processes

Raja Hafiz Affandi, Emily B. Fox+1 more|arXiv (Cornell University)|Nov 12, 2013

Point processes and geometric inequalities参考文献 22被引用数 15

ひとこと要約

本稿では、Nyström法およびランダムフォーリエ特徴（RFF）を用いた低ランクカーネル近似と、k-DPPのためのギブスサンプラーを活用することで、連続的決定的ポイントプロセス（DPP）に対する効率的な近似サンプリング手法を提案する。この手法により、高次元連続空間における扱いやすい推論が可能となり、反発性のある混合モデルや多様な人間のポーズ生成において、i.i.d.サンプリングに比べ優れたカバレッジを示す。

ABSTRACT

Determinantal point processes (DPPs) are random point processes well-suited for modeling repulsion. In machine learning, the focus of DPP-based models has been on diverse subset selection from a discrete and finite base set. This discrete setting admits an efficient sampling algorithm based on the eigendecomposition of the defining kernel matrix. Recently, there has been growing interest in using DPPs defined on continuous spaces. While the discrete-DPP sampler extends formally to the continuous case, computationally, the steps required are not tractable in general. In this paper, we present two efficient DPP sampling schemes that apply to a wide range of kernel functions: one based on low rank approximations via Nystrom and random Fourier feature techniques and another based on Gibbs sampling. We demonstrate the utility of continuous DPPs in repulsive mixture modeling and synthesizing human poses spanning activity spaces.

研究の動機と目的

• 連続的DPPにおける扱いやすいサンプリングアルゴリズムの欠如が、連続空間における反発性のモデリングを妨げているのを是正すること。
• 固有値分解に基づく離散的DPPの計算効率を、カーネル近似技術を用いて連続領域へと拡張すること。
• 高次元データにおける生成モデリングおよび多様なサブセット選択への連続的DPPの実用的応用を可能にすること。
• 広範なカーネル関数に適用可能な低ランク近似に基づくおよびギブスサンプリングに基づく推論方式の開発。
• 人間のポーズ生成や反発性のある混合モデルといった実世界の問題に対して、提案手法の実証的妥当性を検証すること。

提案手法

• カーネル作用素のフル固有値分解を回避するため、DPPの二重表現を用いて低ランクカーネル近似によるサンプリングを可能にする。
• カーネル関数の近似にNyström法およびランダムフォーリエ特徴（RFF）を用い、DPPの尤度計算およびサンプリングを効率的に行う。
• カーネル行列のシュール補行列を用いて、連続的k-DPPにおける残りの点の条件付き分布を計算するギブスサンプラーを導出する。
• カーネルを二重形式で低ランク近似することで、フルカーネル作用素の明示的固有値分解なしにDPPからのサンプリングが可能になる。
• 得られた近似DPPをプロポーザル分布として用い、近似誤差を低減するためのメトロポリス＝ハスティングス補正を併用可能である。
• 選択された点のカーネル行列の行列式に比例する確率密度関数を持つ連続空間DPPの定式化を採用する。

実験結果

リサーチクエスチョン

• RQ1 Nyström法およびランダムフォーリエ特徴のような低ランクカーネル近似は、連続的DPPからの効率的サンプリングに有効に利用できるか？
• RQ2 カーネル行列のシュール補行列を用いて、連続的空間におけるk-DPPのギブスサンプリングフレームワークをどのように適合できるか？
• RQ3 近似DPPサンプラーは、人間の動き生成のような高次元多様体のカバレッジにおいて、i.i.d.サンプリングに比べてどの程度優れているか？
• RQ4 連続的DPPは反発性のある混合モデルに有効に応用可能か？標準的な非反発性混合モデルと比較して性能はいかがなっているか？
• RQ5 提案手法の計算スケーリング特性は次元dに対してどのようになるか？

主な発見

• RFFおよびNyströmを用いた低ランク近似法は、次元dに対して線形スケーリングを達成し、62次元の人間の動きデータなど高次元空間への応用を可能にする、高品質なDPPサンプリングを実現した。
• 人間のポーズ生成において、DPPによるサンプリングはε=40で90%のデータカバレッジを達成したのに対し、i.i.d.サンプリングでは全データをカバーするためにはε=253が必要であった。
• DPPベースの手法はi.i.d.サンプリングに比べ、よりまれなポーズをカバーしており、高次元のアクティビティ空間における多様性とロバスト性の向上を示した。
• 反発性のある混合モデルでは、2クラスのアイrisデータセットにおいて分類誤差が0.15（DPPベース）対0.23（非反発性混合モデル）と、DPPベースのモデルが優れた性能を示した。
• k-DPPのためのギブスサンプラーはシュール補行列を活用することで正確な条件付きサンプリングを実現し、構造的連続空間における精密な推論を可能にした。
• 実証的分析により、低ランク近似がDPPの反発性を良好に保持しており、テストした全カーネル関数においてサンプリング品質の劣化が最小限に抑えられていた。