[论文解读] Leveraging Sparsity for Efficient Submodular Data Summarization

Erik Lindgren, Shanshan Wu+1 more|arXiv (Cornell University)|Mar 8, 2017

Data Management and Algorithms被引用 11

一句话总结

本文提出一种基于稀疏化的加速方法，用于通过设施位置问题加速子模数据摘要，证明在稀疏化收益矩阵上进行贪心优化可在无需严格分布假设的情况下实现接近最优的性能。该文为 t-最近邻和基于阈值的稀疏化方法建立了紧密的理论保证，使通过 LSH 和蒙特卡洛方法实现高效、可扩展的摘要成为可能，且精度损失最小。

ABSTRACT

The facility location problem is widely used for summarizing large datasets and has additional applications in sensor placement, image retrieval, and clustering. One difficulty of this problem is that submodular optimization algorithms require the calculation of pairwise benefits for all items in the dataset. This is infeasible for large problems, so recent work proposed to only calculate nearest neighbor benefits. One limitation is that several strong assumptions were invoked to obtain provable approximation guarantees. In this paper we establish that these extra assumptions are not necessary---solving the sparsified problem will be almost optimal under the standard assumptions of the problem. We then analyze a different method of sparsification that is a better model for methods such as Locality Sensitive Hashing to accelerate the nearest neighbor computations and extend the use of the problem to a broader family of similarities. We validate our approach by demonstrating that it rapidly generates interpretable summaries.

研究动机与目标

• 为解决在大规模数据集上子模优化因 O(n²m) 次成对收益计算而导致的计算不可行性问题。
• 消除先前关于稀疏化子模优化工作中对限制性分布假设的依赖，特别是 i.i.d. 均匀随机偏好假设。
• 在标准非负性假设下，为稀疏化设施位置问题建立可证明的近似保证，且对所有 k 值均成立。
• 提出一种基于阈值的稀疏化方法，可与 LSH 等近似最近邻技术兼容。
• 在真实世界数据集上对方法进行实证验证，表明其能生成快速、可解释且多样化的摘要。

提出的方法

• 提出 t-最近邻稀疏化：对收益矩阵 C 的每一行，仅保留 t 个最大值，其余设为零。
• 引入基于阈值的稀疏化：保留满足 C_iv > τ 的条目，其中 τ 为选定阈值，从而实现高效的近似最近邻计算。
• 使用局部敏感哈希（LSH）和蒙特卡洛采样，加速高维相似性空间中的近似最近邻查询。
• 对稀疏化后的收益矩阵应用标准贪心算法，以选择 k 个能最大化总覆盖度的代表性项目。
• 推导出两种稀疏化方法的近似误差理论边界，表明在标准子模假设下，无需 i.i.d. 或大 k 要求，其保证依然成立。
• 采用个性化 PageRank 和随机游走方法计算协作网络中的影响力得分，实现可扩展的演员/女演员摘要。

实验结果

研究问题

• RQ1 是否可以在不假设 i.i.d. 或均匀随机偏好下，为稀疏化设施位置问题建立可证明的近似保证？
• RQ2 为保持对所有 k 值的常数因子近似，所需的最小稀疏度水平（如 t 或 τ）是多少？
• RQ3 在理论保证和实证性能方面，基于阈值的稀疏化与 t-NN 稀疏化相比如何？
• RQ4 近似最近邻方法（如 LSH）是否能有效集成到稀疏化流程中，以实现对大规模数据集的可扩展性？
• RQ5 稀疏化贪心算法在真实世界摘要任务中，能在多大程度上保持多样性和可解释性？

主要发现

• 本文证明，当 k = Ω(n) 时，仅需 t = O(1) 的 t-最近邻稀疏化，即可实现常数因子近似，且无需分布假设。
• 理论分析表明，t-NN 稀疏化的近似保证在对数因子范围内是紧的，证实了边界的最优性。
• 基于阈值的稀疏化在最坏情况下的近似保证与下界相差常数因子，且具有额外的数据依赖性改进。
• 在 MovieLens 数据集上的实证结果表明，该算法能生成可解释的摘要——例如，90 年代喜剧片集群、80 年代恐怖片、邪典经典等，仅基于评分相似性。
• 在大规模演员协作网络（57k 个节点）上，稀疏化方法在 3 小时内完成摘要计算，仅使用 2GB 内存，而精确 PPR 计算则不可行。
• 该方法在捕捉全局多样性方面优于标准 PageRank，能选择来自多个国际电影产业的演员，而非仅偏向主导群体。