[論文レビュー] Inference for determinantal point processes without spectral knowledge

Rémi Bardenet, Michalis K. Titsias|arXiv (Cornell University)|Jul 4, 2015

Point processes and geometric inequalities参考文献 27被引用数 7

ひとこと要約

本稿では、核演算子 L の固有値分解を回避するため、計算困難な尤度正規化定数に対する取り扱い可能な上限を導出することで、スペクトルフリーの推論手法を DPP に対して提案する。この手法により、有限および連続領域における DPP に対して、コストの高い固有値分解を避けることで、効率的な変分推論とやや高価な MCMC が可能となり、モデルの解釈可能性を損なわずにスケーラビリティが著しく向上する。

ABSTRACT

Determinantal point processes (DPPs) are point process models that naturally encode diversity between the points of a given realization, through a positive definite kernel $K$. DPPs possess desirable properties, such as exact sampling or analyticity of the moments, but learning the parameters of kernel $K$ through likelihood-based inference is not straightforward. First, the kernel that appears in the likelihood is not $K$, but another kernel $L$ related to $K$ through an often intractable spectral decomposition. This issue is typically bypassed in machine learning by directly parametrizing the kernel $L$, at the price of some interpretability of the model parameters. We follow this approach here. Second, the likelihood has an intractable normalizing constant, which takes the form of a large determinant in the case of a DPP over a finite set of objects, and the form of a Fredholm determinant in the case of a DPP over a continuous domain. Our main contribution is to derive bounds on the likelihood of a DPP, both for finite and continuous domains. Unlike previous work, our bounds are cheap to evaluate since they do not rely on approximating the spectrum of a large matrix or an operator. Through usual arguments, these bounds thus yield cheap variational inference and moderately expensive exact Markov chain Monte Carlo inference methods for DPPs.

研究の動機と目的

• 核演算子 L のスペクトル分解に起因する DPP 尤度の計算困難性に対処すること。
• 核 L のスペクトル知識を必要とせずに、DPP に対する尤度ベース推論を可能にすること。
• 行列または演算子の固有値分解に依存しない、計算効率の良い DPP 尤度の上限を構築すること。
• これらの上限を用いて、変分法および MCMC 推論を両立させ、実用的なスケーラビリティを確保すること。

提案手法

• ガウス過程における変分推論にインspiredされた技術を用いて、有限集合における DPP 尤度の下限を導出する。
• 潜在関数と誘導点の上での共同ガウス近似を導入することで、対数正規化定数の変分下限を定式化する。
• ジェンセンの不等式と最適な変分分布を用いて、スペクトル分解を回避する閉形式の下限を導出する。
• 有限領域における上限を、変分フレームワークの作用素論的拡張を用いて連続領域へと拡張する。
• これらの上限を用いて、スペクトル計算を回避する変分推論目的関数およびメトロポリス・ハスティングス MCMC スキームを構築する。
• 解析的に取り扱える Ψ 行列を有するガウスカーネルを用いて、合成および実世界のデータで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 核演算子 L のスペクトル分解を回避する DPP の尤度上限を構築可能か？
• RQ2 ガウス過程からの変分推論技術を、L の固有値に依存せずに DPP に適応可能か？
• RQ3 提案された上限は、連続領域における DPP の効率的かつ正確な MCMC サンプリングを可能にするか？
• RQ4 尤度近似およびサンプリング品質の観点から、従来のスペクトルベース手法と比較して、スペクトルフリー推論の性能はいかがなものか？

主な発見

• 提案された DPP 対数正規化定数の変分下限は、スペクトル分解を必要とせず、スケーラブルな推論を可能にする。
• 合成および実世界の DPP データ（ニュース要約や空間点プロセスモデリングを含む）において、競争力のある尤度近似精度を達成する。
• 連続領域では、作用素論的変分近似を用いて上限を拡張し、計算の取り扱いやすさを維持する。
• 本手法は、変分法および MCMC 推論を両立可能であり、後者は極限において正確であるが、やや高価である。
• 実験では、計算効率の観点でベースラインのスペクトルベース推論を上回り、尤度推定値は同等を維持する。
• ガウス基底測度を有するガウスカーネルでは、Ψ 行列の解析的計算が可能であり、実験設定における効率的実装を可能にする。