[論文レビュー] Efficient Sampling for k-Determinantal Point Processes

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Sep 4, 2015

Point processes and geometric inequalities参考文献 44被引用数 20

ひとこと要約

本稿では、元の分布への全変動距離を最小化するコアセットを構築することにより、k-決定的ポイントプロセス（k-DPP）からの効率的な近似サンプリングのための2段階アルゴリズム、CoreDppを提案する。グランドセットのサイズを N に対して大幅に小さい代表的コアセット（サイズ M ≪ N）に削減することで、N に依存しない O(k²M) のサンプリング時間が達成され、大規模データセット上でも従来手法を上回る精度と速度を実現するとともに、真の k-DPP分布の忠実な近似を維持する。

ABSTRACT

Determinantal Point Processes (DPPs) are elegant probabilistic models of repulsion and diversity over discrete sets of items. But their applicability to large sets is hindered by expensive cubic-complexity matrix operations for basic tasks such as sampling. In light of this, we propose a new method for approximate sampling from discrete $k$-DPPs. Our method takes advantage of the diversity property of subsets sampled from a DPP, and proceeds in two stages: first it constructs coresets for the ground set of items; thereafter, it efficiently samples subsets based on the constructed coresets. As opposed to previous approaches, our algorithm aims to minimize the total variation distance to the original distribution. Experiments on both synthetic and real datasets indicate that our sampling algorithm works efficiently on large data sets, and yields more accurate samples than previous approaches.

研究の動機と目的

• 核行列の固有分解による計算量がデータセットサイズに立方的に増加するため、正確な k-DPP サンプリングの高い計算コストに対処すること。
• 行列ノルム誤差を最小化するのではなく、分布の乖離を最小化する既存の近似手法よりも高いサンプリング精度を実現すること。
• データに依存するコアセットを用いて有効なデータサイズを削減することで、大規模応用における効率的なサンプリングを可能にすること。
• サンプリング時間の全データセットサイズ N に依存しないことを達成し、繰り返しサンプリングに実用的であること。
• 近似された k-DPP 分布と真の k-DPP 分布の間の全変動距離を最小化することで、多様性の確率的モデリングを忠実に保つこと。

提案手法

• データを分割し、k-DPP 分布の構造を保持する代表的な点を選択することで、N に対して大幅に小さいサイズ M ≪ N のコアセットを構築する。
• 元の k-DPP への全変動距離を最小化するコアセット構築アルゴリズムを用い、時間計算量は N に線形に依存する O(NM³) である。
• コアセット上で k-DPP サンプリングを実行するための双対定式化を採用し、N に依存しない O(k²M) のサンプリング時間を達成する。
• DPP が内蔵する多様性の性質（重複またはクラスタ化されたアイテムは確率質量に寄与しにくい）を活用し、コアセット選択をガイドする。
• 各クラスタ内でグリーディーな選択戦略を適用することで、多様で代表的なコアポイントを保持する。
• 大規模データセット上での近似品質の評価に、一様サンプリングによる全変動距離の経験的推定を用いる。

実験結果

リサーチクエスチョン

• RQ1 k-DPP に対して、近似分布と元の分布の間の全変動距離を最小化するようなコアセットを構築できるか？
• RQ2 コアセットベースのサンプリングは、Nyström や Random Kitchen Sinks といった核行列近似手法よりも高い近似精度を達成するか？
• RQ3 サンプリング時間の全データセットサイズ N に依存しないようにできるか、同時に高い精度を維持できるか？
• RQ4 コアセットサイズ M と基数 k に対して、近似品質はどのようにスケーリングするか？
• RQ5 セットアップ時間と1サンプルあたりの時間の両面で、MCMCベースの k-DPP サンプリングに比べ、提案手法はより効率的か？

主な発見

• コアセットサイズ M が大きくなるほど k が小さくなるほど、CoreDpp は K++ や NysStoch といった最先端手法よりも低い全変動距離を達成する。
• コアセット構築のオーバーヘッド時間は N に線形に増加するため、大規模データセットでもオフライン前処理に適している。
• サンプリング時間は O(k²M) であり、N に依存しない。これにより、NysStoch や MCDPP よりも桁違いに高速なサンプリングが実現される。
• 複数のサンプルが必要な場合、CoreDpp は他の手法に比べて相対的により効率的になり、累積サンプリング時間は N に対してサブ線形に増加する。
• MNIST および GENES データセットでは、NysStoch が核行列誤差を最小化しているにもかかわらず、CoreDpp は全変動距離において一貫して NysStoch を上回る。
• 経験的結果から、全変動距離を最小化することが、行列ノルムを最小化するよりもより正確なサンプリングを実現することを示しており、本手法の設計選択の妥当性が裏付けられる。