[论文解读] Learning Determinantal Point Processes in Sublinear Time

Christophe Dupuy, Francis R. Bach|arXiv (Cornell University)|Oct 19, 2016

Graph theory and applications被引用 7

一句话总结

该论文提出了一类基于边际核低秩分解的新颖确定性点过程（DPP），通过该方法可在相对于项目数量 $N$ 的亚线性时间内实现精确推断与参数学习。该方法通过闭式计算二阶矩矩阵 $\mathbb{E}[U U^\top]$ 避免了 $\mathcal{O}(N)$ 的运算，从而实现对指数级大集合（如文档中所有可能的句子或连续域）的高效建模，其在具有 $2^{500}$ 个项目的 DPP 上的文档摘要应用中得到验证。

ABSTRACT

We propose a new class of determinantal point processes (DPPs) which can be manipulated for inference and parameter learning in potentially sublinear time in the number of items. This class, based on a specific low-rank factorization of the marginal kernel, is particularly suited to a subclass of continuous DPPs and DPPs defined on exponentially many items. We apply this new class to modelling text documents as sampling a DPP of sentences, and propose a conditional maximum likelihood formulation to model topic proportions, which is made possible with no approximation for our class of DPPs. We present an application to document summarization with a DPP on $2^{500}$ items.

研究动机与目标

• 为解决在大规模或无限项目集合中确定性点过程（DPP）的可扩展性瓶颈问题，标准算法在 $N$ 上呈立方或线性增长。
• 在相对于项目数 $N$ 的亚线性时间内实现 DPP 的精确推断与参数学习，尤其适用于指数级大集合或连续集合。
• 开发一种新型 DPP 类，支持条件最大似然估计，用于建模文档摘要中的主题比例。
• 在真实世界任务中展示其实际适用性，例如从 $2^{500}$ 种可能的句子中采样多样化的句子子集以实现文档摘要。

提出的方法

• 提出一种基于边际核 $K$ 的特定低秩分解的新 DPP 类，其中 $K = UU^\top$ 且 $U \in \mathbb{R}^{V \times r}$，从而降低有效维度。
• 利用二阶矩矩阵 $\mathbb{E}[U U^\top]$ 的闭式计算，避免 $\mathcal{O}(N)$ 的运算，实现亚线性时间的推断与学习。
• 采用条件最大似然公式建模文档中的主题比例，通过 $L$-表示法与低秩结构实现精确的似然计算。
• 采用带稀疏性诱导正则化项 $\mathcal{R}$ 的惩罚优化框架，对参数 $\theta$ 进行优化，无需近似即可改善参数恢复效果。
• 采用距离度量 $D(U, U^*) = \|U(U^\top U)^{-1}U^\top U^* - U^*\|_F / \|U^*\|_F$ 评估推断嵌入与真实嵌入之间的子空间对齐性，该度量对旋转与缩放具有不变性。
• 将核技巧原理应用于 DPP，通过低秩表示高效处理高维嵌入。

实验结果

研究问题

• RQ1 是否可以在相对于项目数 $N$ 的亚线性时间内实现 DPP 的学习与推断，同时保持精确的似然计算？
• RQ2 边际核的低秩分解如何实现对指数级大集合（如 $\{0,1\}^V$）的高效学习？
• RQ3 所提出的 DPP 类是否支持条件最大似然估计，以建模文档摘要中的主题比例？
• RQ4 惩罚优化策略在高维、低秩 DPP 中对参数恢复的改善程度如何？
• RQ5 该方法在连续域（如 $[0,1]^m$，其中 $N$ 为无穷）上的可扩展性如何？

主要发现

• 该方法在时间复杂度上为秩 $r$ 的多项式时间，实现了相对于 $N$ 的亚线性时间学习，且保持了精确的似然计算，适用于大规模或无限项目集合。
• 在连续集合 $[0,1]^2$ 上，该方法收敛至真实对数似然值，并显著优于基线对角 DPP（$L = \eta^* I$）。
• 对于离散集合 $\{1,\ldots,V\}$ 且 $r^* = 5$ 的情形，仅当 $r \geq 30$ 时才能恢复真实嵌入 $U^*$，表明参数恢复需要足够的秩。
• 对于指数级集合 $\{0,1\}^V$ 且 $V=10$、$r^*=2$ 的情形，当 $r \geq 6$ 时可恢复真实 $U^*$，证实其在高维组合空间中的鲁棒性。
• 在 $\{1,\ldots,V\}$ 集合上，该方法在对数似然值上优于 Mariet 和 Sra（2015）的 Picard 迭代方法，尽管后者基于完整矩阵运算。
• 在真实文档摘要任务中，该模型能提取传达用户观点的句子（如关于食物、服务的观点），而基线方法通常仅提取上下文描述性内容。