[论文解读] Exact sampling of determinantal point processes with sublinear time preprocessing

Michał Dereziński, Daniele Calandriello+1 more|arXiv (Cornell University)|May 31, 2019

Random Matrices and Applications参考文献 31被引用 12

一句话总结

本文提出 DPP-VFX，一种新型的确定性点过程（DPP）精确采样算法，实现子线性 $ n \cdot \mathrm{poly}(k) $ 预处理时间与 $ \mathrm{poly}(k) $ 采样时间，且与 $ n $ 无关。通过利用正则化 DPP 实现高效下采样，并结合精心选择的缩放参数进行拒绝采样，该方法可在无条件及固定大小（基数约束）DPP 上实现快速、精确的采样，其可扩展性与重复采样效率优于以往的精确与近似方法。

ABSTRACT

We study the complexity of sampling from a distribution over all index subsets of the set $\{1,...,n\}$ with the probability of a subset $S$ proportional to the determinant of the submatrix $\mathbf{L}_S$ of some $n imes n$ p.s.d. matrix $\mathbf{L}$, where $\mathbf{L}_S$ corresponds to the entries of $\mathbf{L}$ indexed by $S$. Known as a determinantal point process, this distribution is used in machine learning to induce diversity in subset selection. In practice, we often wish to sample multiple subsets $S$ with small expected size $k = E[|S|] \ll n$ from a very large matrix $\mathbf{L}$, so it is important to minimize the preprocessing cost of the procedure (performed once) as well as the sampling cost (performed repeatedly). For this purpose, we propose a new algorithm which, given access to $\mathbf{L}$, samples exactly from a determinantal point process while satisfying the following two properties: (1) its preprocessing cost is $n \cdot ext{poly}(k)$, i.e., sublinear in the size of $\mathbf{L}$, and (2) its sampling cost is $ ext{poly}(k)$, i.e., independent of the size of $\mathbf{L}$. Prior to our results, state-of-the-art exact samplers required $O(n^3)$ preprocessing time and sampling time linear in $n$ or dependent on the spectral properties of $\mathbf{L}$. We also give a reduction which allows using our algorithm for exact sampling from cardinality constrained determinantal point processes with $n\cdot ext{poly}(k)$ time preprocessing.

研究动机与目标

• 为解决在大矩阵上重复采样小期望子集大小 $ k \ll n $ 时精确 DPP 采样的计算瓶颈。
• 将精确 DPP 采样的预处理成本从 $ \mathcal{O}(n^3) $ 降低至 $ n \cdot \mathrm{poly}(k) $，实现关于 $ n $ 的次线性复杂度。
• 实现与 $ n $ 无关的采样成本，具体为 $ \mathrm{poly}(k) $，从而支持高频采样而不影响性能。
• 将该方法扩展至对 $ k $-DPP（基数约束 DPP）的精确采样，并保持相同的效率保证。
• 为大规模机器学习应用中的多样性诱导子集选择提供一种实用且可扩展的解决方案。

提出的方法

• 利用正则化 DPP（R-DPP）将索引集 $[n]$ 下采样至大小 $ t \ll n $ 的较小集合 $ \sigma $，同时保留足够统计特性以实现精确采样。
• 在缩放后的 DPP $ \mathrm{DPP}(\alpha^\star \mathbf{L}) $ 上执行拒绝采样，其中 $ \alpha^\star $ 的选择满足 $ \Pr(|S_{\alpha^\star}| = k) \geq \frac{1}{C\sqrt{k}} $，从而确保高接受概率。
• 采用 Nyström 近似对 $ \mathbf{L} $ 进行计算，以 $ \widetilde{\mathcal{O}}(n \cdot \mathrm{poly}(k)) $ 时间高效计算 $ \alpha^\star $，避免完整的特征分解。
• 利用 DPP 样本大小的切尔诺夫型界，证明样本大小分布的众数接近 $ k $，从而支持有效的拒绝采样。
• 将下采样与拒绝采样步骤整合为两阶段流程：首先从 R-DPP 中采样 $ \sigma $，然后从 $ \mathrm{DPP}(\mathbf{L}_\sigma) $ 中采样 $ S $，确保精确性与高效性。
• 使用 DPPy 库在小集合 $ \sigma $ 上实现精确采样，而整体算法保证对原始 DPP 在 $[n]$ 上的精确性。

实验结果

研究问题

• RQ1 能否在 $ n $ 的预处理成本次线性化（尤其当 $ k \ll n $ 时）实现精确 DPP 采样？
• RQ2 是否可能实现与 $ n $ 无关的采样成本（具体为 $ \mathrm{poly}(k) $），以支持重复采样？
• RQ3 该方法能否扩展至对 $ k $-DPP（固定大小子集）的精确采样，并保持相同的效率？
• RQ4 何种缩放参数 $ \alpha^\star $ 可确保以高概率采样到大小恰好为 $ k $ 的子集，且其如何高效计算？
• RQ5 与现有精确与近似 DPP 采样器相比，该方法在实际性能上（速度与可扩展性）表现如何？

主要发现

• DPP-VFX 实现了 $ n \cdot \mathrm{poly}(k) $ 的预处理时间与 $ \mathrm{poly}(k) $ 的采样时间，是首个具备次线性预处理与常数采样成本的精确 DPP 采样器。
• 当 $ n = 10^6 $ 时，DPP-VFX 平均仅需 $ 68.479 \pm 2.63 $ 秒即可采样首个子集，平均拒绝次数仅为 $ 9 \pm 4.5 $ 次，展现出远超精确方法与 MCMC 方法的可扩展性。
• 该方法将首次采样成本从 $ \mathcal{O}(n^3) $ 降低至 $ n \cdot \mathrm{poly}(k) $，并将重采样成本从线性于 $ n $ 降低至 $ \mathrm{poly}(k) $，从而支持高频采样。
• 对 $ k $-DPP 的拒绝采样步骤具有高成功率，拒绝次数最多为 $ O(\sqrt{k}) $ 次，且 $ \alpha^\star $ 可在 $ \widetilde{\mathcal{O}}(n \cdot \mathrm{poly}(k)) $ 时间内高效计算。
• 实验表明，在 $ n = 7 \cdot 10^5 $ 时，DPP-VFX 比基于 MCMC 的采样快 10 倍，耗时 38 秒 vs. 358 秒，且重采样成本与 $ n $ 无关，保持恒定。
• 该算法在重采样时间上优于当前最先进的精确采样器 [21]，后者仍随 $ n $ 线性增长，而 DPP-VFX 在预处理后维持恒定成本。