[论文解读] Greed is Good: Near-Optimal Submodular Maximization via Greedy Optimization

Moran Feldman, Christopher Harshaw+1 more|arXiv (Cornell University)|Apr 5, 2017

Complexity and Algorithms in Graphs参考文献 32被引用 41

一句话总结

本文提出了 RepeatedGreedy 和 SampleGreedy 两种新算法，用于在 k-system 和 k-extendible system 约束下最大化一般子模函数。RepeatedGreedy 通过 O(√k) 次经典贪心算法调用，实现 (1+O(1/√k))k-近似，使用 O(nr√k) 次函数评估；而 SampleGreedy 通过单次贪心运行与重要性采样，仅用 O(nr/k) 次评估即实现 k+3-近似，显著优于以往方法的运行时间，同时保持接近最优的效用。

ABSTRACT

It is known that greedy methods perform well for maximizing monotone submodular functions. At the same time, such methods perform poorly in the face of non-monotonicity. In this paper, we show - arguably, surprisingly - that invoking the classical greedy algorithm $O(\sqrt{k})$-times leads to the (currently) fastest deterministic algorithm, called Repeated Greedy, for maximizing a general submodular function subject to $k$-independent system constraints. Repeated Greedy achieves $(1 + O(1/\sqrt{k}))k$ approximation using $O(nr\sqrt{k})$ function evaluations (here, $n$ and $r$ denote the size of the ground set and the maximum size of a feasible solution, respectively). We then show that by a careful sampling procedure, we can run the greedy algorithm only once and obtain the (currently) fastest randomized algorithm, called Sample Greedy, for maximizing a submodular function subject to $k$-extendible system constraints (a subclass of $k$-independent system constrains). Sample Greedy achieves $(k + 3)$-approximation with only $O(nr/k)$ function evaluations. Finally, we derive an almost matching lower bound, and show that no polynomial time algorithm can have an approximation ratio smaller than $ k + 1/2 - \varepsilon$. To further support our theoretical results, we compare the performance of Repeated Greedy and Sample Greedy with prior art in a concrete application (movie recommendation). We consistently observe that while Sample Greedy achieves practically the same utility as the best baseline, it performs at least two orders of magnitude faster.

研究动机与目标

• 开发针对 k-system 和 k-extendible system 约束下子模最大化问题的更快的确定性和随机化算法。
• 改进现有非单调子模函数最大化问题的近似比与时间复杂度。
• 设计一种在大幅减少函数评估次数的同时保持高效率的算法，尤其适用于大规模问题。
• 通过不可近似性结果建立近似比的理论极限。
• 在真实世界电影推荐任务上验证性能，结果多样且可解释。

提出的方法

• RepeatedGreedy 通过 O(√k) 次调用经典贪心算法，探索多样化的解子集，从而提升近似比。
• SampleGreedy 使用一种新颖的采样过程，仅通过一次实际执行即可模拟多次贪心运行，将函数评估次数减少至 O(nr/k)。
• 采样策略根据元素的边际增益按比例选择，从而高效探索解空间。
• 该算法利用 k-extendible system 的性质，确保解的可行性，同时保持近似保证。
• 对贪心算法在重复与采样设置下的性能进行更紧密分析，从而获得更优的理论界。
• 推导出理论下界，表明任何多项式时间算法都无法实现优于 k+1/2−ε 的近似比。

实验结果

研究问题

• RQ1 经典贪心算法能否被重复调用多次，以在 k-system 约束下实现非单调子模最大化问题的更好近似比？
• RQ2 单次贪心运行结合重要性采样能否在大幅减少函数评估次数的同时实现接近最优的性能？
• RQ3 子模最大化在 k-extendible system 约束下的近似比理论极限是什么？
• RQ4 在真实世界应用中，所提算法在效用与运行时间方面与最先进方法相比如何？
• RQ5 在电影推荐等多样化真实场景中，这些算法能否比标准贪心算法更好地避免局部最优？

主要发现

• RepeatedGreedy 使用 O(nr√k) 次函数评估实现 (1+O(1/√k))k-近似，优于以往的 O(nrk) 方法。
• SampleGreedy 仅用 O(nr/k) 次函数评估即实现 k+3-近似，是目前已知针对 k-extendible system 的最快随机化算法。
• 对于单调或线性目标函数，SampleGreedy 分别实现 k+1 和 k-近似，与最佳已知比值一致，但时间复杂度显著降低。
• 在 MovieLens 20M 数据集上进行实证验证，当 mg=1 时，SampleGreedy 的计算成本仅为 FANTOM 的 1.09%，但效用几乎相同。
• RepeatedGreedy 在运行速度上快四倍的同时，与 FANTOM 的解质量相当，展现出效用与效率之间的强大权衡。
• 理论分析表明，任何多项式时间算法都无法实现优于 k+1/2−ε 的近似比，说明 SampleGreedy 的 k+3 上界几乎是最优的。