[论文解读] Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint

Qilian Yu, Li Xu+1 more|arXiv (Cornell University)|Mar 17, 2016

Complexity and Algorithms in Graphs参考文献 19被引用 5

一句话总结

本文提出一种流式算法，用于在 d-背包约束下最大化单调亚模函数，仅通过单次遍历和次线性内存，实现了 (1/(1+2d) - ε) 的近似比。该算法通过平衡多样性、时效性和引用相关性，实现了高效的新闻与科技文献推荐，在速度和可扩展性上优于贪心算法和基于 PageRank 的方法，同时保持接近最优的效用性能。

ABSTRACT

Submodular maximization problems belong to the family of combinatorial optimization problems and enjoy wide applications. In this paper, we focus on the problem of maximizing a monotone submodular function subject to a $d$-knapsack constraint, for which we propose a streaming algorithm that achieves a $\left(\frac{1}{1+2d}-ε ight)$-approximation of the optimal value, while it only needs one single pass through the dataset without storing all the data in the memory. In our experiments, we extensively evaluate the effectiveness of our proposed algorithm via two applications: news recommendation and scientific literature recommendation. It is observed that the proposed streaming algorithm achieves both execution speedup and memory saving by several orders of magnitude, compared with existing approaches.

研究动机与目标

• 为应对大数据时代大规模数据处理的挑战，即由于内存和计算资源限制，无法访问完整数据集。
• 设计一种流式算法，在一般 d-背包约束下最大化单调亚模函数，该约束推广了基数约束和多重资源约束。
• 在仅假设单调亚模性的前提下，实现常数因子近似保证，无需存储完整数据集或多次遍历。
• 实现实时推荐系统在新闻和科技文献推荐中的实际部署，其中多样性、时效性和引用质量至关重要。
• 与经典贪心算法相比，显著降低运行时间和内存使用，同时保持高效率。

提出的方法

• 算法通过单次遍历处理数据，基于边际收益的阈值机制，动态维护一个小型、持续更新的解集。
• 采用随机采样策略估算最优解值，并根据当前解和预算约束，动态调整元素的包含阈值。
• 使用 d 维背包约束矩阵 C 和预算向量 b 来建模多重资源限制，如时效性、加权 PageRank 分数和参考文献数量。
• 对于每个到达的元素，算法计算其边际收益，并在决定是否包含前，检查其是否满足所有 d 个背包约束。
• 通过维持一个与最优解足够竞争的解，确保获得 (1/(1+2d) - ε) 的近似比，即使在流式环境下也成立。
• 使用黑箱预言机评估任意子集 S 的亚模函数 f(S)，从而支持多样化的推荐任务应用。

实验结果

研究问题

• RQ1 能否在仅单次遍历和有限内存条件下，实现对 d-背包约束下单调亚模最大化问题的常数因子近似？
• RQ2 在真实推荐应用中，所提出的算法在效用和效率方面与经典贪心算法相比如何？
• RQ3 该算法在科学文献推荐中，能在多大程度上平衡时效性、引用重要性和网络中心性等相互竞争的目标？
• RQ4 在流式环境下，近似比、内存使用和计算成本之间存在何种权衡？
• RQ5 该算法能否在不牺牲推荐质量的前提下，扩展到新闻推送或科学文献仓库等大规模数据集？

主要发现

• 所提出的流式算法实现了对最优解的 (1/(1+2d) - ε) 近似，且在最小假设下提供了理论保证。
• 与经典贪心算法相比，运行时间减少了超过 10,000 倍，同时保持了相似的效用性能。
• 内存使用量为 O((b log b)/(dε))，与数据集大小无关，适用于大规模流式应用场景。
• 在科学文献推荐中，该算法在目标函数值上比加权 PageRank 方法最高提升 10%，尤其在源论文连通性较差时表现更优。
• 在不同背包预算设置下，该算法保持接近最优的性能，与理论上限的相对差异约为 10%。
• 该方法能有效平衡多重约束——包括时效性、加权 PageRank 和参考文献数量，在多样化推荐场景中表现出强鲁棒性。