[论文解读] Do Less, Get More: Streaming Submodular Maximization with Subsampling

Moran Feldman, Amin Karbasi+1 more|arXiv (Cornell University)|Jan 1, 2018

Complexity and Algorithms in Graphs被引用 28

一句话总结

该论文提出了一种新颖的一轮流式算法，用于子模最大化，通过子采样技术大幅减少函数评估次数和内存使用量，同时实现紧密的近似保证。对于在 $p$-匹配主约束下的单调子模函数，该算法在 $O(k)$ 内存和每个元素 $O(km/p)$ 次查询下，实现了 $4p$ 的近似比，相较于最先进方法在视频摘要任务中提速高达五十倍，并在大规模数据集上表现出良好的可扩展性。

ABSTRACT

In this paper, we develop the first one-pass streaming algorithm for submodular maximization that does not evaluate the entire stream even once. By carefully subsampling each element of the data stream, our algorithm enjoys the tightest approximation guarantees in various settings while having the smallest memory footprint and requiring the lowest number of function evaluations. More specifically, for a monotone submodular function and a $p$-matchoid constraint, our randomized algorithm achieves a $4p$ approximation ratio (in expectation) with $O(k)$ memory and $O(km/p)$ queries per element ($k$ is the size of the largest feasible solution and $m$ is the number of matroids used to define the constraint). For the non-monotone case, our approximation ratio increases only slightly to $4p+2-o(1)$. To the best or our knowledge, our algorithm is the first that combines the benefits of streaming and subsampling in a novel way in order to truly scale submodular maximization to massive machine learning problems. To showcase its practicality, we empirically evaluated the performance of our algorithm on a video summarization application and observed that it outperforms the state-of-the-art algorithm by up to fifty-fold while maintaining practically the same utility. We also evaluated the scalability of our algorithm on a large dataset of Uber pick up locations.

研究动机与目标

• 解决大规模机器学习应用中子模最大化面临的可扩展性瓶颈。
• 在不牺牲近似质量的前提下，减少流式子模优化中的函数评估次数和内存使用量。
• 开发一种实用的一轮流式算法，仅通过一次遍历即可处理数据流，同时最小化对数据流的评估次数。
• 在单调和非单调子模函数均满足 $p$-匹配主约束的条件下，实现紧密的近似比。

提出的方法

• 该算法采用一种新颖的子采样策略，仅选择性地评估流中的一小部分元素，从而降低计算开销。
• 通过随机选择过程维护一组候选元素的核心集合，这些元素更有可能对最优解有贡献。
• 该方法整合了 $p$-匹配主约束模型，以确保解的可行性，同时保持近似保证。
• 根据当前解的状态动态调整采样率，以在准确性和效率之间取得平衡。
• 该算法仅需一轮处理，内存中仅存储 $O(k)$ 个元素，其中 $k$ 是最大可行解的大小。
• 对于单调函数，其期望近似比为 $4p$；对于非单调函数，近似比为 $4p+2-o(1)$。

实验结果

研究问题

• RQ1 能否设计一种一维流式子模最大化算法，避免对整个数据流进行评估？
• RQ2 在流式环境中，使用最少的内存和函数评估次数，所能达到的最佳近似比是多少？
• RQ3 如何利用子采样技术在保持解质量的前提下降低子模优化的计算成本？
• RQ4 该算法能否在如 Uber 取车位置等大规模数据集上实现可扩展性，同时保持高实用性？

主要发现

• 该算法在 $p$-匹配主约束下，对单调子模函数实现了期望 $4p$ 的近似比。
• 对于非单调函数，近似比为 $4p+2-o(1)$，与单调情况相比仅有轻微下降。
• 该算法仅使用 $O(k)$ 内存，且每个元素仅需 $O(km/p)$ 次函数查询，显著降低了计算成本。
• 在视频摘要任务中，该算法在运行时间上相比最先进方法提速高达五十倍，同时保持了相近的实用性。
• 该算法在大规模 Uber 取车位置数据集上表现出良好的可扩展性，证明了其在真实世界机器学习工作负载中的实际适用性。