[论文解读] Non-monotone Submodular Maximization with Nearly Optimal Adaptivity and Query Complexity

Matthew Fahrbach, Vahab Mirrokni+1 more|arXiv (Cornell University)|Aug 19, 2018

Complexity and Algorithms in Graphs被引用 17

一句话总结

该论文提出了首个在基数约束下针对非单调子模函数最大化问题的常数因子近似算法，其适应性与查询复杂度接近最优。该算法在 $O(\log n / \varepsilon)$ 适应性轮次内实现期望 $(0.039 - \varepsilon)$-近似，使用 $O(n \log k / \varepsilon^2)$ 期望查询次数，结合改进的阈值采样与无约束最大化技术，显著提升了大规模机器学习应用中的效率。

ABSTRACT

Submodular maximization is a general optimization problem with a wide range of applications in machine learning (e.g., active learning, clustering, and feature selection). In large-scale optimization, the parallel running time of an algorithm is governed by its adaptivity, which measures the number of sequential rounds needed if the algorithm can execute polynomially-many independent oracle queries in parallel. While low adaptivity is ideal, it is not sufficient for an algorithm to be efficient in practice -- there are many applications of distributed submodular optimization where the number of function evaluations becomes prohibitively expensive. Motivated by these applications, we study the adaptivity and query complexity of submodular maximization. In this paper, we give the first constant-factor approximation algorithm for maximizing a non-monotone submodular function subject to a cardinality constraint $k$ that runs in $O(\log(n))$ adaptive rounds and makes $O(n \log(k))$ oracle queries in expectation. In our empirical study, we use three real-world applications to compare our algorithm with several benchmarks for non-monotone submodular maximization. The results demonstrate that our algorithm finds competitive solutions using significantly fewer rounds and queries.

研究动机与目标

• 设计一种用于非单调子模函数最大化的分布式算法，以最小化适应性轮次与总Oracle查询次数。
• 在显著降低适应性与查询复杂度的前提下，实现常数因子近似保证，优于以往工作。
• 解决大规模机器学习中的实际限制，其中Oracle评估成本高昂，且通信轮次限制了并行化程度。
• 设计一种方法，在低适应性与低查询次数之间实现平衡，使其适用于计算成本高的现实应用场景。

提出的方法

• 自适应地结合Fahrbach等人（2019）提出的改进阈值采样子程序，当候选池缩小至阈值以下时提前终止。
• 整合Chen等人（2019）提出的无约束子模最大化算法，以处理非单调性并提升近似质量。
• 采用两阶段策略：第一阶段通过 $O(\log n / \varepsilon)$ 轮次的阈值采样识别高价值元素；第二阶段在所选子集上应用无约束最大化。
• 在阈值采样中采用动态停止条件，确保每个元素未被选中的概率至少为常数，从而实现常数因子近似。
• 利用采样过程可提前终止的特性，减少轮次与查询次数，同时不损害近似质量。
• 采用随机采样与自适应查询调度，以最小化顺序依赖性，同时保持高质量解。

实验结果

研究问题

• RQ1 能否设计出一种适应性复杂度接近最优的常数因子近似算法，用于非单调子模函数最大化？
• RQ2 在低适应性条件下，实现常数因子近似的最少Oracle查询次数是多少？
• RQ3 如何修改阈值采样以支持非单调函数，同时保持近似保证？
• RQ4 阈值采样与无约束最大化的结合能否产生一种实际可行的算法，实现低轮次与低查询次数？
• RQ5 在Oracle查询成本高昂的实际应用场景中，该算法相较于现有基准表现如何？

主要发现

• 所提算法在基数约束下对非单调子模函数最大化问题实现了期望 $(0.039 - \varepsilon)$-近似。
• 其适应性轮次为 $O(\log n / \varepsilon)$，根据已知下界，仅相差 $\Theta(\log \log n)$ 因子，因此为最优。
• 期望Oracle查询次数为 $O(n \log k / \varepsilon^2)$，接近最优，且显著低于以往方法。
• 在图像摘要任务中，Adaptive-Nonmonotone-Max优于Random与Fantom，尤其在查询效率方面表现出明显降低的查询成本。
• 在电影推荐与收益最大化任务中，该算法在使用更少轮次与查询次数的前提下，找到了与基准方法相当的解。
• 该算法的早期终止机制可迅速将候选池缩小至 $3k$ 以下，从而在后续单轮内高效完成最终选择。