[论文解读] Learning Nonsymmetric Determinantal Point Processes

Mike Gartrell, Victor-Emmanuel Brunel+2 more|arXiv (Cornell University)|May 30, 2019

Data Management and Algorithms参考文献 25被引用 9

一句话总结

本论文通过利用非对称核矩阵的低秩分解，提出了一种可计算的最大似然估计（MLE）方法，用于学习非对称确定性点过程（DPPs）。该方法能够建模项目间的排斥与吸引相互作用，在具有不相交项目结构的真实世界和合成数据集上，显著提升了预测性能，优于对称DPPs。

ABSTRACT

Determinantal point processes (DPPs) have attracted substantial attention as an elegant probabilistic model that captures the balance between quality and diversity within sets. DPPs are conventionally parameterized by a positive semi-definite kernel matrix, and this symmetric kernel encodes only repulsive interactions between items. These so-called symmetric DPPs have significant expressive power, and have been successfully applied to a variety of machine learning tasks, including recommendation systems, information retrieval, and automatic summarization, among many others. Efficient algorithms for learning symmetric DPPs and sampling from these models have been reasonably well studied. However, relatively little attention has been given to nonsymmetric DPPs, which relax the symmetric constraint on the kernel. Nonsymmetric DPPs allow for both repulsive and attractive item interactions, which can significantly improve modeling power, resulting in a model that may better fit for some applications. We present a method that enables a tractable algorithm, based on maximum likelihood estimation, for learning nonsymmetric DPPs from data composed of observed subsets. Our method imposes a particular decomposition of the nonsymmetric kernel that enables such tractable learning algorithms, which we analyze both theoretically and experimentally. We evaluate our model on synthetic and real-world datasets, demonstrating improved predictive performance compared to symmetric DPPs, which have previously shown strong performance on modeling tasks associated with these datasets.

研究动机与目标

• 为解决对称DPP的局限性，即仅能建模项目间的排斥（负）相关性，通过允许建模吸引与排斥相互作用。
• 开发一种可计算的最大似然估计（MLE）算法，用于从未观察到的子集数据中学习完全非对称的DPP核，克服先前方法在计算上的不可行性。
• 为受限类别的非对称DPP中的MLE估计器提供理论一致性保证。
• 通过实证结果证明，非对称DPP在捕捉复杂相关结构方面优于对称DPP，尤其在具有不相交项目组的数据中表现更优。

提出的方法

• 该方法将非对称核矩阵分解为 $\mathbf{L} = \mathbf{A}\mathbf{B}^T$，其中 $\mathbf{A}, \mathbf{B} \in \mathbb{R}^{M \times D}$，从而实现低秩参数化并可计算似然函数。
• 基于每个观测子集 $J$ 的子矩阵 $\mathbf{L}_J$ 的行列式构建似然函数，并应用MLE优化 $\mathbf{A}$ 和 $\mathbf{B}$ 的参数。
• 学习算法利用低秩结构将计算复杂度降低至 $O(M^3)$，使其适用于大规模数据集。
• 理论分析在特定正则性条件下，为受限类别的非对称DPP建立了MLE估计器的一致性。
• 与先前关于带符号DPP的工作不同，该方法避免了对核元素绝对值的对称性限制，从而提高了模型灵活性。

实验结果

研究问题

• RQ1 能否为非对称DPP开发一种可计算的基于MLE的学习算法，从而放松对称核的约束？
• RQ2 通过非对称DPP允许吸引与排斥项目相互作用，是否能提升对具有不相交项目组的真实世界数据的建模能力？
• RQ3 在真实世界数据集上，非对称DPP在MPR和AUC等预测指标上的表现如何，相较于对称DPP？
• RQ4 在受限模型类下，非对称DPP的MLE估计器的统计一致性行为如何？

主要发现

• 在三类亚马逊婴儿注册表数据集上，非对称DPP将类别1内80.5%的成对相互作用编码为正相关性，充分恢复了类别内结构。
• 对于跨类别成对关系（如类别1与类别2之间），模型将97.2%的相互作用编码为负相关性，正确捕捉了数据的不相交特性。
• 在亚马逊服装和三类数据集上，非对称DPP分别实现了72.20 ± 3.07和74.10 ± 2.49的平均精确率（MPR），显著优于对称DPP（分别为62.63 ± 1.81和61.0 ± 2.73）。
• 非对称DPP在亚马逊服装数据集上的AUC得分为0.77 ± 0.03，在三类数据集上为0.82 ± 0.02，而对称DPP分别为0.68 ± 0.05和0.76 ± 0.03，表明其排名性能更优。
• 在具有明显不相交组件的数据集上，非对称DPP在MPR和AUC上实现了10–15%的相对提升，证实其在恢复复杂相关结构方面具有更强能力。
• 学习算法运行时间为 $O(M^3)$，相比先前方法的 $O(M^6)$ 复杂度有显著改进，使其可应用于真实世界数据集。