[论文解读] Kronecker Determinantal Point Processes

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|May 26, 2016

Point processes and geometric inequalities参考文献 30被引用 4

一句话总结

本文提出 KronDpp，一种基于小矩阵 Kronecker 积结构的确定性点过程（DPP）模型，支持高效精确采样与学习。通过利用 Kronecker 结构，作者开发了 KrK-Picard 算法，该算法采用批量与随机优化策略，分别实现 O(N²) 与 O(N^{3/2}) 的时间复杂度，显著加速大规模数据集上的 DPP 学习过程，同时保持似然函数单调提升。

ABSTRACT

Determinantal Point Processes (DPPs) are probabilistic models over all subsets a ground set of $N$ items. They have recently gained prominence in several applications that rely on "diverse" subsets. However, their applicability to large problems is still limited due to the $\mathcal O(N^3)$ complexity of core tasks such as sampling and learning. We enable efficient sampling and learning for DPPs by introducing KronDPP, a DPP model whose kernel matrix decomposes as a tensor product of multiple smaller kernel matrices. This decomposition immediately enables fast exact sampling. But contrary to what one may expect, leveraging the Kronecker product structure for speeding up DPP learning turns out to be more difficult. We overcome this challenge, and derive batch and stochastic optimization algorithms for efficiently learning the parameters of a KronDPP.

研究动机与目标

• 为解决 DPP 采样与学习中 O(N³) 的计算瓶颈，尤其是在大规模基础集合下的问题。
• 通过将核矩阵结构化为较小矩阵的 Kronecker 积，实现 DPP 中高效精确采样与参数学习。
• 开发一种可扩展的优化算法，在降低时间和内存复杂度的同时，保持似然函数单调递增。
• 克服将 Kronecker 结构应用于 DPP 所面临的挑战，因为 DPP 对任意子矩阵的行列式高度敏感。
• 在真实世界数据集上展示可扩展性，这些数据集因内存与时间限制而使完整 DPP 方法不可行。

提出的方法

• 提出 KronDpp，一种其核矩阵表示为 m 个较小正定矩阵 Kronecker 积的 DPP 模型，将参数数量从 O(N²) 降低至 O(N^{2/m})。
• 利用 Kronecker 积的代数性质，实现 O(N^{3/2} + Nk³) 时间复杂度的精确采样（当 m=2 时）与 O(Nk³) 时间复杂度（当 m=3 时）。
• 开发 KrK-Picard，一种块坐标上升算法，通过迭代更新子核，确保对数似然目标函数单调增加。
• 实现 KrK-Picard 的批量与随机变体，分别实现 O(N²) 与 O(N^{3/2} + Nκ²) 的时间复杂度，随机情形下内存使用为 O(N + κ²)。
• 基于正定矩阵黎曼流形上的测地凸性论证，证明优化方案的收敛性。
• 采用子集聚类问题作为理论工具，探索学习过程中进一步提速的潜力。

实验结果

研究问题

• RQ1 DPP 核矩阵的 Kronecker 积分解是否能以显著降低的计算成本实现精确采样与学习？
• RQ2 为何在 DPP 学习中利用 Kronecker 结构比在其他模型中更具挑战性？这一问题如何克服？
• RQ3 能否为 KronDpp 设计一种随机优化算法，保持收敛性并实现亚二次时间复杂度？
• RQ4 Kronecker 结构是否允许在全核矩阵无法装入内存的数据集上学习 DPP？
• RQ5 子集大小 k 对 KronDpp 可扩展性的影响是什么？如何缓解这一影响？

主要发现

• KrK-Picard 在批量模式下实现 O(N²) 时间复杂度，在随机模式下实现 O(N^{3/2} + Nκ²) 时间复杂度，支持大规模 DPP 的学习。
• 在包含 10,000 个基因的 GENES 数据集上，KrK-Picard 的运行速度比标准 Picard 快 18 倍（8.9 秒 vs. 161.5 秒），而随机 KrK-Picard 的运行速度更快 130 倍以上（1.2 秒）。
• 随机 KrK-Picard 的初始对数似然提升量（3.13×10⁴）高于批量 KrK-Picard（2.96×10⁴），表明其具有更快的早期收敛速度。
• 尽管使用了低秩近似，KronDpp 在婴儿注册数据集上仍能获得与完整 DPP 相当的对数似然值，证实其建模能力。
• 该算法保持了对数似然的单调提升，并确保迭代过程中的正定性，这对稳定学习至关重要。
• 子集聚类问题作为关键组合挑战浮现，若能解决，可进一步加速学习过程。