[論文レビュー] Kronecker Determinantal Point Processes

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|May 26, 2016

Point processes and geometric inequalities参考文献 30被引用数 4

ひとこと要約

本稿では、より小さな行列のクーロン積として構造化されたカーネル行列を備えた決定的ポイントプロセス（DPP）モデル、KronDppを提案する。この構造により、正確なサンプリングと学習が効率的に行える。クーロン構造を活用することで、著者らは、O(N²)およびO(N^{3/2})の時間計算量を達成するバッチおよび確率的最適化アルゴリズム、KrK-Picardを開発した。これにより、大規模データセット上でのDPP学習が著しく高速化され、同時に尤度の単調増加が保証される。

ABSTRACT

Determinantal Point Processes (DPPs) are probabilistic models over all subsets a ground set of $N$ items. They have recently gained prominence in several applications that rely on "diverse" subsets. However, their applicability to large problems is still limited due to the $\mathcal O(N^3)$ complexity of core tasks such as sampling and learning. We enable efficient sampling and learning for DPPs by introducing KronDPP, a DPP model whose kernel matrix decomposes as a tensor product of multiple smaller kernel matrices. This decomposition immediately enables fast exact sampling. But contrary to what one may expect, leveraging the Kronecker product structure for speeding up DPP learning turns out to be more difficult. We overcome this challenge, and derive batch and stochastic optimization algorithms for efficiently learning the parameters of a KronDPP.

研究の動機と目的

• DPPのサンプリングと学習におけるO(N³)の計算ボトル neck を解消すること、特に大規模なグランドセットに対して。
• カーネル行列をより小さな行列のクーロン積として構造化することで、DPPにおける正確なサンプリングとパラメータ学習を効率化すること。
• 時間的・記憶的計算量を削減しながらも、尤度の単調増加を維持するスケーラブルな最適化アルゴリズムの開発。
• DPPは任意の部分行列の行列式に敏感であるため、クーロン構造をDPPに適用する課題を克服すること。
• メモリと時間の制約により、フルDPPが非現実的となる実世界のデータセットにおいて、スケーラビリティを示すこと。

提案手法

• m個のより小さな正定値行列のクーロン積として表現されるカーネル行列を持つDPPモデル、KronDppを提案。パラメータ数をO(N²)からO(N^{2/m})に削減。
• クーロン積の代数的性質を活用し、m=2の場合にO(N^{3/2} + Nk³)、m=3の場合にO(Nk³)の時間で正確なサンプリングを実現。
• 部分カーネルを繰り返し更新するブロック座標昇下法であるKrK-Picardを構築。尤度対数関数の単調増加を保証する。
• バッチおよび確率的バージョンのKrK-Picardを実装。それぞれO(N²)およびO(N^{3/2} + Nκ²)の時間計算量を達成。確率的ケースではO(N + κ²)の記憶量を要する。
• 正定値行列のリーマン多様体上での地図的凸性の議論を用いて、最適化スキームの収束性を正当化。
• 学習プロセスのさらなる高速化を探索するための理論的道具として、サブセットクラスタリング問題を用いる。

実験結果

リサーチクエスチョン

• RQ1 DPPカーネル行列のクーロン積分解が、著しく低い計算コストで正確なサンプリングと学習を可能にするか？
• RQ2 他のモデルとは異なり、DPP学習におけるクーロン構造の活用がより困難である理由は何か？ そして、その課題をどのように克服できるか？
• RQ3 KronDppに適した、収束性を保ちつつ、準2次時間計算量を達成する確率的最適化アルゴリズムを設計可能か？
• RQ4 クーロン構造により、フルカーネル行列がメモリに収まらないデータセットに対してもDPPの学習が可能になるか？
• RQ5 サブセットサイズkがKronDppのスケーラビリティに与える影響は何か？ そして、その影響をどのように軽減できるか？

主な発見

• KrK-PicardはバッチモードでO(N²)、確率的モードでO(N^{3/2} + Nκ²)の時間計算量を達成し、大規模DPPの学習を可能にした。
• 10,000個の遺伝子を含むGENESデータセットでは、KrK-Picardは標準的なPicardより18倍速く（8.9秒対161.5秒）、確率的KrK-Picardは130倍以上速くなった（1.2秒）。
• 確率的KrK-Picardはバッチ版（2.96×10⁴）よりも初期尤度増加が著しく高い（3.13×10⁴）ため、初期収束が速いことが示された。
• 低ランク近似を用いても、KronDppはフルDPPと同等の尤度を達成した。これは、そのモデリング能力を裏付ける。
• アルゴリズムは尤度の単調増加を維持し、正定値の反復を保証しており、安定した学習に不可欠である。
• サブセットクラスタリング問題は、学習プロセスのさらなる高速化を実現するための主要な組合せ的課題として浮上した。