[论文解读] Deep Determinantal Point Processes

Mike Gartrell, Elvis Dohmatob+1 more|arXiv (Cornell University)|Nov 17, 2018

3D Shape Modeling and Analysis参考文献 42被引用 4

一句话总结

本文提出深度确定性点过程（deep DPP），一种基于神经网络的低秩DPP扩展，利用深层前馈网络学习非线性项目嵌入，从而实现对复杂项目交互关系的建模并整合元数据。该方法在真实世界数据集上显著提升了预测性能，尤其在高复杂度和稀疏场景下表现优异，同时保持了高效的DPP推理算法。

ABSTRACT

Determinantal point processes (DPPs) have attracted significant attention as an elegant model that is able to capture the balance between quality and diversity within sets. DPPs are parameterized by a positive semi-definite kernel matrix. While DPPs have substantial expressive power, they are fundamentally limited by the parameterization of the kernel matrix and their inability to capture nonlinear interactions between items within sets. We present the deep DPP model as way to address these limitations, by using a deep feed-forward neural network to learn the kernel matrix. In addition to allowing us to capture nonlinear item interactions, the deep DPP also allows easy incorporation of item metadata into DPP learning. Since the learning target is the DPP kernel matrix, the deep DPP allows us to use existing DPP algorithms for efficient learning, sampling, and prediction. Through an evaluation on several real-world datasets, we show experimentally that the deep DPP can provide a considerable improvement in the predictive performance of DPPs, while also outperforming strong baseline models in many cases.

研究动机与目标

• 为克服标准DPP表达能力有限的问题，其受线性交互关系和固定秩核矩阵的限制。
• 实现对集合中项目之间非线性关系的建模，因为标准DPP受行列式多重线性性质的限制而无法捕捉此类关系。
• 实现项目级元数据（如名称、描述）与DPP学习过程的无缝集成，无需人工特征工程。
• 在推荐和子集选择任务中提升预测性能，特别是在复杂或稀疏数据场景下。
• 通过将学习到的嵌入矩阵用作核矩阵，保持与现有高效DPP算法在学习、采样和预测方面的兼容性。

提出的方法

• 深度DPP使用深层前馈神经网络参数化低秩DPP核矩阵，其中最后一层隐藏层输出项目嵌入。
• 核矩阵构造为 $\mathbf{L} = \mathbf{Z} \mathbf{Z}^T$，其中 $\mathbf{Z}$ 是深层网络输出的项目嵌入矩阵。
• 隐藏层中的非线性激活函数使模型能够捕捉集合中项目之间的复杂非线性交互。
• 项目元数据被嵌入到深层网络的输入层，实现嵌入与元数据表示的端到端联合学习。
• 通过在观测子集上进行最大似然估计，采用标准DPP学习算法进行端到端训练。
• 由于低秩结构和现有DPP算法的支持，即使存在深层非线性，推理、采样和预测依然保持高效。

实验结果

研究问题

• RQ1 深层神经网络架构能否在项目集合的非线性交互关系上超越标准DPP的线性交互能力？
• RQ2 在低数据或冷启动场景下，整合项目元数据对DPP的预测性能有何影响？
• RQ3 深度DPP在真实世界的子集选择任务中是否优于标准低秩DPP和强基线模型？
• RQ4 在具有复杂项目交互关系的高复杂度数据集中，深度DPP在判别能力上的提升程度如何？
• RQ5 更深的网络架构在DPP框架下如何影响学习到的项目嵌入的结构与可解释性？

主要发现

• 深度DPP在标准低秩DPP基础上显著提升了预测性能，尤其在Instacart和Belgian等复杂数据集上，高复杂度场景下MPR提升更为显著。
• 在大多数情况下，深度DPP优于使用其他模型嵌入的预训练DPP，证明了核矩阵端到端学习的价值。
• 在Instacart-10k数据集中，整合项目元数据使大购物篮的AUC提升高达约0.2，表明在稀疏区域性能显著增强。
• t-SNE可视化显示，更深的网络生成了更具结构化且分离更清晰的项目嵌入，表明有效学习了非线性交互关系。
• 深度DPP在区分真实与合成子集方面表现更优，AUC得分更高，尤其在复杂数据集上表现突出。
• 对于子集大小不超过 $K$ 的数据集，将秩提高到 $K$ 以上不再带来预测优势，验证了模型容量的理论上限。