[论文解读] Faster Greedy MAP Inference for Determinantal Point Processes

In‐Su Han, Prabhanjan Kambadur+2 more|arXiv (Cornell University)|Mar 9, 2017

Data Management and Algorithms参考文献 32被引用 3

一句话总结

本文通过利用一阶对数行列式近似和基于LDAS的随机迹估计器，提出了一种更快的贪心算法，用于大规模确定性点过程（DPP）的MAP推断。该方法通过摊销线性求解和实现批量选择，将时间复杂度从O(d⁴)降低至O(d³)，在仅损失微小精度的情况下，相比基线贪心方法实现了最高19倍的加速。

ABSTRACT

Determinantal point processes (DPPs) are popular probabilistic models that arise in many machine learning tasks, where distributions of diverse sets are characterized by matrix determinants. In this paper, we develop fast algorithms to find the most likely configuration (MAP) of large-scale DPPs, which is NP-hard in general. Due to the submodular nature of the MAP objective, greedy algorithms have been used with empirical success. Greedy implementations require computation of log-determinants, matrix inverses or solving linear systems at each iteration. We present faster implementations of the greedy algorithms by utilizing the complementary benefits of two log-determinant approximation schemes: (a) first-order expansions to the matrix log-determinant function and (b) high-order expansions to the scalar log function with stochastic trace estimators. In our experiments, our algorithms are orders of magnitude faster than their competitors, while sacrificing marginal accuracy.

研究动机与目标

• 为解决大规模DPP中MAP推断的NP难问题，该问题因重复计算对数行列式、矩阵逆或线性系统而计算成本高昂。
• 通过使用一阶近似和高效的线性求解器（如共轭梯度法，CG）摊销昂贵的行列式计算，加速贪心MAP推断。
• 开发一种基于批量的贪心算法，每轮迭代选择多个项目，从而减少昂贵操作的次数，同时保持良好的近似质量。
• 通过在多个运行中共享随机向量，提升LDAS在高阶对数行列式近似中的效率，从而在不显著损失精度的情况下提升速度。
• 在合成数据和真实世界数据集上实证验证所提算法，证明其相比现有贪心和懒惰基线方法具有显著的加速效果。

提出的方法

• 利用矩阵对数行列式函数的一阶展开来近似贪心选择中的边际增益，降低每轮迭代的计算成本。
• 采用共轭梯度（CG）求解器高效计算舒尔补更新，通过单次线性求解摊销多个边际增益计算。
• 将剩余项目划分为p ≥ 1个聚类，并在每个聚类内应用一阶近似，以在保持计算效率的同时提升近似质量。
• 引入一种批量贪心策略，每轮迭代选择k > 1个元素，减少迭代次数，并利用LDAS实现高阶标量对数近似。
• 在多个LDAS运行中共享随机向量，以提升近似质量并降低方差，为性能提升提供理论依据。
• 结合基于CG的线性求解与基于LDAS的随机迹估计器，在速度与精度之间取得平衡，实现O(d³)的时间复杂度（当p = O(1)时）。

实验结果

研究问题

• RQ1 一阶对数行列式近似与高效线性求解器的结合，是否能将贪心DPP MAP推断的时间复杂度从O(d⁴)降低至O(d³)？
• RQ2 与标准贪心或懒惰方法相比，通过LDAS实现的高阶对数行列式近似，结合批量选择，是否能显著提升效率？
• RQ3 在多个LDAS运行中共享随机向量，是否能提升对数行列式估计的近似质量并降低方差？
• RQ4 所提算法在大规模DPP实例上实现显著加速的同时，其近似质量在多大程度上得以保持？
• RQ5 在真实世界摘要任务中，所提算法与Lazy、Softmax和Double等成熟基线方法相比，实际表现如何？

主要发现

• 当d = 40,000时，算法2相比Lazy贪心基线最高实现19倍加速，仅损失0.01的近似比。
• 在真实世界匹配摘要任务中，当d = 4,000时，算法2比Lazy快8倍，平均对数概率比仅损失0.03。
• 在视频摘要任务中，算法1相比Lazy实现超过13倍加速，F-score与基线几乎相同，甚至在某些情况下更优。
• 所提算法在实际中保持接近最优的性能，而Softmax在真实世界数据上的速度甚至显著慢于Lazy基线。
• 使用LDAS的批量策略通过将pk次CG调用替换为p次LDAS运行，显著减少了昂贵的CG运行次数，当k > 1时带来显著加速。
• 理论分析支持LDAS中共享随机向量的有效性，表明其可提升近似质量并降低方差。