[論文レビュー] Exact sampling of determinantal point processes with sublinear time preprocessing

Michał Dereziński, Daniele Calandriello+1 more|arXiv (Cornell University)|May 31, 2019

Random Matrices and Applications参考文献 31被引用数 12

ひとこと要約

本稿では、行列サイズ $ n $ に依存しない $ \mathrm{poly}(k) $ のサンプリング時間と、$ n \cdot \mathrm{poly}(k) $ のサブリニアな前処理時間を持つ、決定的ポイントプロセス（DPP）の新しい正確なサンプリングアルゴリズム DPP-VFX を提案する。正則化DPPを用いた効率的なダウンサンプリングと、適切に選ばれたスケーリングパラメータを用いたリジェクションサンプリングにより、条件なしDPPおよび基数制約付きDPP（$ k $-DPP）からの高速かつ正確なサンプリングが可能となり、従来の正確および近似手法に比べてスケーラビリティと繰り返しサンプリングの効率性で優れている。

ABSTRACT

We study the complexity of sampling from a distribution over all index subsets of the set $\{1,...,n\}$ with the probability of a subset $S$ proportional to the determinant of the submatrix $\mathbf{L}_S$ of some $n imes n$ p.s.d. matrix $\mathbf{L}$, where $\mathbf{L}_S$ corresponds to the entries of $\mathbf{L}$ indexed by $S$. Known as a determinantal point process, this distribution is used in machine learning to induce diversity in subset selection. In practice, we often wish to sample multiple subsets $S$ with small expected size $k = E[|S|] \ll n$ from a very large matrix $\mathbf{L}$, so it is important to minimize the preprocessing cost of the procedure (performed once) as well as the sampling cost (performed repeatedly). For this purpose, we propose a new algorithm which, given access to $\mathbf{L}$, samples exactly from a determinantal point process while satisfying the following two properties: (1) its preprocessing cost is $n \cdot ext{poly}(k)$, i.e., sublinear in the size of $\mathbf{L}$, and (2) its sampling cost is $ ext{poly}(k)$, i.e., independent of the size of $\mathbf{L}$. Prior to our results, state-of-the-art exact samplers required $O(n^3)$ preprocessing time and sampling time linear in $n$ or dependent on the spectral properties of $\mathbf{L}$. We also give a reduction which allows using our algorithm for exact sampling from cardinality constrained determinantal point processes with $n\cdot ext{poly}(k)$ time preprocessing.

研究の動機と目的

• 正確なDPPサンプリングにおける計算ボトル neck を軽減すること、特に $ k \ll n $ の場合に繰り返しサンプリングを行う大規模行列に対して有効であることを目的とする。
• 正確なDPPサンプリングの前処理コストを $ \mathcal{O}(n^3) $ から $ n \cdot \mathrm{poly}(k) $ に低減し、$ n $ に対してサブリニアにすることを目的とする。
• サンプリングコストを $ n $ に依存させず、具体的には $ \mathrm{poly}(k) $ にすることを目的とし、性能劣化なしに高頻度でのサンプリングを可能にする。
• 同じ効率的保証を満たす前提で、基数制約付きDPP（$ k $-DPP）からの正確なサンプリングへの拡張を目的とする。
• 大規模機械学習応用における多様性誘導サブセット選択のための実用的でスケーラブルなソリューションを提供することを目的とする。

提案手法

• インデックス集合 $[n]$ を $ t \ll n $ のサイズを持つ集合 $ \sigma $ にダウンサンプリングする正則化DPP（R-DPP）を用い、正確なサンプリングに十分な統計的性質を保持する。
• スケーリングパラメータ $ \alpha^\star $ を適切に選択したスケーリングDPP $ \mathrm{DPP}(\alpha^\star \mathbf{L}) $ に対してリジェクションサンプリングを実施し、$ \Pr(|S_{\alpha^\star}| = k) \geq \frac{1}{C\sqrt{k}} $ を満たすようにすることで、高い受容確率を確保する。
• $ \mathbf{L} $ に対してニストローム近似を適用し、$ \widetilde{\mathcal{O}}(n \cdot \mathrm{poly}(k)) $ 時間で $ \alpha^\star $ を効率的に計算し、完全な固有値分解を回避する。
• DPPサンプルのサイズに関するチェルノフ型不等式を用いて、サンプルサイズ分布のモードが $ k $ の近くに集中することを示し、効果的なリジェクションサンプリングを可能にする。
• ダウンサンプリングとリジェクションサンプリングのステップを二段階プロセスに統合：まず R-DPP から $ \sigma $ をサンプリングし、次に $ S \sim \mathrm{DPP}(\mathbf{L}_\sigma) $ をサンプリングすることで、正確性と効率性を両立する。
• 小規模な部分集合 $ \sigma $ に対しては DPPy ライブラリを用いて正確なサンプリングを実行するが、全体のアルゴリズムは元の $[n]$ 上のDPPに対して正確性を保証する。

実験結果

リサーチクエスチョン

• RQ1 正確なDPPサンプリングを、$ n $ に対してサブリニアな前処理コストで達成できるか、特に $ k \ll n $ の場合に有効か？
• RQ2 繰り返しサンプリングにおいて、$ n $ に依存しない、具体的には $ \mathrm{poly}(k) $ のサンプリングコストを達成できるか？
• RQ3 同じ効率的保証を満たす前提で、$ k $-DPP（固定サイズサブセット）からの正確なサンプリングへの拡張は可能か？
• RQ4 正確にサイズ $ k $ のサブセットを抽出する確率を高めるために、どのスケーリングパラメータ $ \alpha^\star $ を選択すればよいか、そしてその計算はどのように効率的に行えるか？
• RQ5 実際の性能において、従来の正確および近似DPPサンプラーと比較して、速度とスケーラビリティの点でどのように差がつくか？

主な発見

• DPP-VFX は $ n \cdot \mathrm{poly}(k) $ の前処理時間と $ \mathrm{poly}(k) $ のサンプリング時間を達成し、サブリニアな前処理と定数時間のサンプリングを実現する最初の正確なDPPサンプラーである。
• $ n = 10^6 $ の場合、DPP-VFX は平均して $ 9 \pm 4.5 $ 回のリジェクションで最初のサブセットを $ 68.479 \pm 2.63 $ 秒で生成でき、正確な手法およびMCMC手法の到達不可能なスケールまで拡張可能であることを示している。
• 最初のサンプルコストは $ \mathcal{O}(n^3) $ から $ n \cdot \mathrm{poly}(k) $ に低減され、再サンプリングコストは $ n $ に比例するのではなく $ \mathrm{poly}(k) $ に抑えられ、高頻度サンプリングが可能になる。
• $ k $-DPP に対するリジェクションサンプリングは高い確率で成功し、最大で $ O(\sqrt{k}) $ 回のリジェクションで収束し、$ \alpha^\star $ は $ \widetilde{\mathcal{O}}(n \cdot \mathrm{poly}(k)) $ 時間で計算可能である。
• 実験では、$ n = 7 \cdot 10^5 $ 時点でDPP-VFXはMCMCベースのサンプリングより10倍速く、38秒対358秒であり、再サンプリングコストは $ n $ に依存せず一定を保っている。
• 前処理後は再サンプリングコストが一定を保つため、DPP-VFX は状態の最良の正確サンプラー [21] よりも再サンプリング時間で優れており、同サンプラーは依然として $ n $ に比例してコストが増加する。