[论文解读] A Parallel Double Greedy Algorithm for Submodular Maximization

Alina Ene, Huy L. Nguyên+1 more|arXiv (Cornell University)|Dec 4, 2018

Complexity and Algorithms in Graphs参考文献 20被引用 8

一句话总结

该论文提出了一种并行双倍贪婪算法，用于最大化非负子模函数和连续 DR-子模函数，在 $O(\log(1/\epsilon)/\epsilon)$ 适应轮数内实现 $1/2 - \epsilon$ 的近似比，采用基于梯度的更新方式。该方法通过维护两个解并基于梯度差值迭代减小一个潜在函数，将顺序双倍贪婪方法扩展到连续且并行的设置中。

ABSTRACT

We study parallel algorithms for the problem of maximizing a non-negative submodular function. Our main result is an algorithm that achieves a nearly-optimal $1/2 -ε$ approximation using $O(\log(1/ε) / ε)$ parallel rounds of function evaluations. Our algorithm is based on a continuous variant of the double greedy algorithm of Buchbinder et al. that achieves the optimal $1/2$ approximation in the sequential setting. Our algorithm applies more generally to the problem of maximizing a continuous diminishing-returns (DR) function.

研究动机与目标

• 设计一种用于子模函数最大化的并行算法，实现在低适应性下接近最优的近似保证。
• 将顺序双倍贪婪算法推广到使用梯度信息的连续并行设置。
• 针对非负 DR-子模函数实现 $1/2 - \epsilon$ 的近似比，适应轮数为 $O(\log(1/\epsilon)/\epsilon)$。
• 通过基于两个解向量之间梯度差值的潜在函数分析算法的收敛性。

提出的方法

• 该算法维护两个向量 $\vec{x}$ 和 $\vec{y}$，分别初始化为 $\epsilon\mathbf{1}$ 和 $(1 - \epsilon)\mathbf{1}$。
• 在每次迭代中，基于函数在这两个点的梯度，平行地增加 $\vec{x}$ 并减少 $\vec{y}$。
• 更新规则旨在减小潜在函数 $\Phi = \langle \nabla f(\vec{x}) - \nabla f(\vec{y}), \vec{1}_{\mathcal{S}} \rangle$，其中 $\mathcal{S}$ 是在 $\vec{x}$ 处梯度为正且在 $\vec{y}$ 处梯度为负的坐标集合。
• 当潜在函数降至 $\epsilon M$ 以下时，算法终止，其中 $M$ 是函数的最大值。
• 潜在函数每轮减少一个因子 $1 - \epsilon/2$，从而确保对数时间内的收敛。
• 该方法依赖于子模性，以保证执行过程中潜在函数不会增加。

实验结果

研究问题

• RQ1 能否设计一种并行算法，在常数数量的适应轮数内实现子模最大化问题的接近最优 $1/2 - \epsilon$ 近似？
• RQ2 如何将顺序双倍贪婪算法推广到使用梯度信息的连续并行设置？
• RQ3 在并行子模优化框架中，基于两个解向量之间梯度差值的潜在函数的收敛速率如何？
• RQ4 该算法能否应用于超出离散子模函数的连续 DR-子模函数？

主要发现

• 该算法实现了对非负 DR-子模函数最大化的 $1/2 - \epsilon$ 近似比。
• 适应轮数和函数评估次数为 $O(\log(1/\epsilon)/\epsilon)$，对于该近似保证而言近乎最优。
• 潜在函数每轮减少一个因子 $1 - \epsilon/2$，确保在 $O(\log(1/\epsilon)/\epsilon)$ 轮内收敛。
• 该算法是确定性的，仅需对函数及其梯度的预言机访问。
• 初始潜在函数有界于 $M/\epsilon$，当潜在函数降至 $\epsilon M$ 以下时算法终止，从而保证了足够的进展。
• 该方法将顺序双倍贪婪算法推广到连续并行设置，同时保持了近似保证。