[論文レビュー] Exact Sampling from Determinantal Point Processes

Philipp Hennig, Roman Garnett|arXiv (Cornell University)|Sep 22, 2016

Point processes and geometric inequalities参考文献 17被引用数 5

ひとこと要約

本稿では、核固有分解に基づくスペクトル分解を用いて、連続的領域における決定的点過程（DPP）の正確で解析的サンプリング手法を提示する。この手法により、機械学習応用における正確かつ効率的なサンプリングが可能になる。主な貢献は、代表的な核（例：平方指数核）に対して、解析的固有関数展開を活用することで、低コストで正確なDPPサンプリングが達成可能である点であり、DPPがベイズ最適化や四則積分においてモンテカルロ法に比べて収束が速くなるような応用に実用的であることを示している。

ABSTRACT

Determinantal point processes (DPPs) are an important concept in random matrix theory and combinatorics. They have also recently attracted interest in the study of numerical methods for machine learning, as they offer an elegant "missing link" between independent Monte Carlo sampling and deterministic evaluation on regular grids, applicable to a general set of spaces. This is helpful whenever an algorithm explores to reduce uncertainty, such as in active learning, Bayesian optimization, reinforcement learning, and marginalization in graphical models. To draw samples from a DPP in practice, existing literature focuses on approximate schemes of low cost, or comparably inefficient exact algorithms like rejection sampling. We point out that, for many settings of relevance to machine learning, it is also possible to draw exact samples from DPPs on continuous domains. We start from an intuitive example on the real line, which is then generalized to multivariate real vector spaces. We also compare to previously studied approximations, showing that exact sampling, despite higher cost, can be preferable where precision is needed.

研究の動機と目的

• 連続的領域におけるDPPの実用的で正確なサンプリング手法の欠如に応えること。これは、探索や統合において理論的利点を有するが、実用的でないままに残っている。
• 平方指数核のような一般的な機械学習用核に対して、正確なDPPサンプリングが実現可能で計算的に実行可能であることを示すこと。
• 正確なDPPサンプリングのコストが、ガウス過程などのカーネルベースモデルで既に必要とされる行列の逆行列計算に支配され、追加のオーバーヘッドを最小限に抑えること。
• 低ランク近似（ニストロム法およびスペクトル法）と比較し、劣化した近似は一様なランダムサンプリングよりも悪いカバレッジを生じることを示すこと。

提案手法

• 本手法は、核のスペクトル分解から得られる固有関数を用いて核を有限ランク展開することで、有限次元の特徴空間における決定的過程への変換により、正確なサンプリングを可能にする。
• 有界領域における平方指数核に対しては、固有関数が三角関数となるため、核展開に必要な積分を解析的に計算可能である。
• サンプリング手順は、DPPを固有関数係数上の有限次元DPPに変換し、固有値分解とQRベースのサンプリングを用いて正確にサンプリングする。
• 変換測度を用いて元のDPPを扱いやすい形に変換するが、核の固有関数が特定の正規直交性および完全性条件を満たすことに依存している。
• 1次元において、正確なサンプルと低ランク近似（ニストロム法およびスペクトル法）を比較し、正規化された累積密度関数とサンプル位置を用いて検証した。
• 計算コストは、D次元でN個のサンプルを生成する場合にO(N³ + N²D)であり、ガウス過程回帰と同等のコストであるため、GP推論が既に必要とされる状況では実用的である。

実験結果

リサーチクエスチョン

• RQ1 一般的な機械学習用核（例：平方指数核）に対して、連続的領域における正確なDPPサンプリングが効率的に達成可能か？
• RQ2 ニストロム法およびスペクトル分解のような低ランク近似手法と比較して、正確なDPPサンプリングの性能はいかが？
• RQ3 高次元DPPサンプリングにおいて、サンプリングの精度と計算コストのトレードオフはどのようなものか？
• RQ4 正確なDPPサンプリングは、ガウス過程のような既存のカーネルベースモデルに、追加コストを最小限に抑えて統合可能か？

主な発見

• 有界領域に定義された核（例：平方指数核）に対して、解析的固有関数展開を用いることで、正確なDPPサンプリングが実現可能かつ効率的であることが示された。
• 正確なDPPサンプリングの計算コストはO(N³ + N²D)であり、これはガウス過程回帰で既に必要とされる行列の逆行列計算に支配され、追加のオーバーヘッドは最小限である。
• ニストロム法やスペクトル法のような低ランク近似は、特にランクが低い場合に劣化したサンプルを生じさせ、一様ランダムサンプリングよりも悪いクラスタリングを引き起こすことがある。
• スペクトル近似の品質はランクFが増加するにつれて向上するが、高次元空間では必要なFが指数関数的に増加する可能性があるため、正確なサンプリングがより好ましい場合がある。
• 実験的比較では、正確なサンプリングが、特にFが小さい場合に、近似手法よりもより均等で良好に分散されたサンプルを生成しており、真の累積密度関数に近づく傾向があることが確認された。
• 本手法により、DPPがベイズ最適化や四則積分における原理的で整合性のある探索戦略として利用可能となり、モンテカルロ積分に比べて収束速度が向上することが示された。