[论文解读] Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity

Laming Chen, Guoxin Zhang+1 more|arXiv (Cornell University)|Sep 15, 2017

Point processes and geometric inequalities被引用 77

一句话总结

本论文提出 FaX，一种用于 DPP 的快速精确贪婪 MAP 推断算法，时间复杂度为 O(M^3)（滑动窗口多样性为 O(wNM)），实现可扩展且具有多样性推荐。其在离线和在线测试中显示出比最先进方法更快的性能以及更好的相关性-多样性权衡。

ABSTRACT

The determinantal point process (DPP) is an elegant probabilistic model of repulsion with applications in various machine learning tasks including summarization and search. However, the maximum a posteriori (MAP) inference for DPP which plays an important role in many applications is NP-hard, and even the popular greedy algorithm can still be too computationally expensive to be used in large-scale real-time scenarios. To overcome the computational challenge, in this paper, we propose a novel algorithm to greatly accelerate the greedy MAP inference for DPP. In addition, our algorithm also adapts to scenarios where the repulsion is only required among nearby few items in the result sequence. We apply the proposed algorithm to generate relevant and diverse recommendations. Experimental results show that our proposed algorithm is significantly faster than state-of-the-art competitors, and provides a better relevance-diversity trade-off on several public datasets, which is also confirmed in an online A/B test.

研究动机与目标

• 动机并形式化使用 DPPs 实现多样而又相关的推荐的需求。
• 开发一个具有有利渐近复杂性的精确、快速贪婪 MAP 推断算法。
• 将该方法扩展到仅在滑动窗口内需要多样性的场景。
• 通过离线实验和在线 A/B 测试展示实际收益。

提出的方法

• 将 DPP 核表示为 L，并通过使用对数行列式增益的贪婪选择来执行 MAP 推断。
• 使用增量 Cholesky 因子更新通过 d_i^2 计算 det(L_{Y+{i}})，并更新向量 c_i 和标量 d_i^2。
• 对于无约束的 MAP 实现总体复杂度达到 O(M^3)，返回 N 个条目时为 O(N^2 M)。
• 提供一个滑动窗口变体，当多样性仅在大小为 w 的窗口内需要时，复杂度为 O(wNM)。
• 概述从相关性分数和项目相似度构建 L 的实际步骤，从而实现基于 DPP 的排序。
• 可选地通过参数 theta 调整方法以平衡相关性和多样性，得到 L' = Diag(exp(alpha r)) S Diag(exp(alpha r)).

实验结果

研究问题

• RQ1 是否可以在显著降低时间复杂度的同时保持准确性的前提下实现 DPP 的精确贪婪 MAP 推断？
• RQ2 如何利用 Cholesky 因子更新来加速大规模实时推荐设置中的 MAP 推断？
• RQ3 将多样性限定为滑动窗口（短程多样性）是否会影响性能和计算成本？
• RQ4 在离线和在线评估中，与现有方法相比，基于 DPP 的推荐是否在相关性与多样性之间提供有利的权衡？

主要发现

• FaX 在合成数据上相对于 Lazy 提升约 100 倍，在相对于 ApX 提升约 3 倍，同时保持精确。
• 该算法在无约束 MAP 下的运行时为 O(M^3)，返回 N 个条目时为 O(N^2 M)，额外需要 O(NM) 的空间。
• 在滑动窗口多样性约束（宽度为 w）的情况下，复杂度降至 O(wNM)，并且在长序列上仍然有效。
• 在 Netflix Prize 和 Million Song 数据集上，基于 DPP 的推荐在相关性-多样性权衡方面优于 MMR、MSD、Entropy 和 Cover 基线。
• 在线 A/B 测试表明，基于 DPP 的推荐在用户参与度指标方面优于对照组和 MMR 基线。
• 在长序列推荐中，带窗口的 DPP 在 nDCG 和局部多样性指标方面优于替代方法。