[论文解读] Efficient Sampling for k-Determinantal Point Processes

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Sep 4, 2015

Point processes and geometric inequalities参考文献 44被引用 20

一句话总结

本文提出 CoreDpp，一种用于从 k-确定性点过程（k-DPPs）高效近似采样的两阶段算法，通过构建最小化总体变差距离的共轭集（coresets）来实现。通过将全集大小减少至一个大小为 M ≪ N 的小而具代表性的共轭集，该方法实现了与 N 无关的 O(k²M) 采样时间，在大规模数据集上相比先前方法在准确性和速度上均有提升，同时保持了对真实 k-DPP 分布的忠实近似。

ABSTRACT

Determinantal Point Processes (DPPs) are elegant probabilistic models of repulsion and diversity over discrete sets of items. But their applicability to large sets is hindered by expensive cubic-complexity matrix operations for basic tasks such as sampling. In light of this, we propose a new method for approximate sampling from discrete $k$-DPPs. Our method takes advantage of the diversity property of subsets sampled from a DPP, and proceeds in two stages: first it constructs coresets for the ground set of items; thereafter, it efficiently samples subsets based on the constructed coresets. As opposed to previous approaches, our algorithm aims to minimize the total variation distance to the original distribution. Experiments on both synthetic and real datasets indicate that our sampling algorithm works efficiently on large data sets, and yields more accurate samples than previous approaches.

研究动机与目标

• 为解决精确 k-DPP 采样带来的高计算成本，该成本由于核矩阵的特征分解而随数据集大小呈立方级增长。
• 改进现有近似方法在采样准确性上的不足，这些方法最小化的是矩阵范数误差，而非分布差异。
• 通过数据感知的共轭集减少有效数据规模，实现在大规模应用中的高效采样。
• 实现与完整数据集大小 N 无关的采样时间，使其适用于重复采样。
• 最小化近似 k-DPP 分布与真实 k-DPP 分布之间的总体变差距离，确保对多样性的概率建模忠实可靠。

提出的方法

• 通过数据划分并选择能保持 k-DPP 分布结构的代表性点，构建大小为 M ≪ N 的共轭集。
• 采用最小化与原始 k-DPP 总体变差距离的共轭集构建算法，时间复杂度为 O(NM³)，与 N 呈线性关系。
• 在共轭集上使用 k-DPP 采样的对偶公式，实现与 N 无关的 O(k²M) 采样时间。
• 利用 DPP 的固有多样性特性，即冗余或聚集的项目对概率质量的贡献较小，以指导共轭集的选择。
• 在每个簇内应用贪心选择策略，以确保保留多样且具代表性的核心点。
• 通过均匀采样进行总体变差距离的经验估计，以在大规模数据集上评估近似质量。

实验结果

研究问题

• RQ1 能否为 k-DPP 构建共轭集，使得近似分布与原始分布之间的总体变差距离最小化？
• RQ2 基于共轭集的采样是否在近似精度上优于如 Nyström 或 Random Kitchen Sinks 等核矩阵近似方法？
• RQ3 是否能在保持高精度的同时使采样时间与完整数据集大小 N 无关？
• RQ4 近似质量如何随共轭集大小 M 和基数 k 变化？
• RQ5 在设置时间和每次采样时间方面，该方法是否比基于 MCMC 的 k-DPP 采样更高效？

主要发现

• CoreDpp 在共轭集大小 M 增大且 k 减小时，总体变差距离低于 K++ 和 NysStoch 等最先进方法。
• 共轭集构建的开销时间与 N 呈线性关系，使其适用于大规模数据集的离线预处理。
• 采样时间为 O(k²M)，与 N 无关，因此在大规模 N 下相比 NysStoch 和 MCDPP 实现了数量级的速度提升。
• 在生成多个样本时，CoreDpp 相较于其他方法效率显著提升，累积采样时间在 N 上呈次线性增长。
• 在 MNIST 和 GENES 数据集上，CoreDpp 在总体变差距离上始终优于 NysStoch，尽管 NysStoch 最小化的是核矩阵误差。
• 实证结果表明，最小化总体变差距离比最小化矩阵范数能带来更准确的采样，验证了该方法设计选择的有效性。