[论文解读] Randomized Composable Core-sets for Distributed Submodular Maximization

Vahab Mirrokni, Morteza Zadimoghaddam|arXiv (Cornell University)|Jun 22, 2015

Complexity and Algorithms in Graphs参考文献 18被引用 10

一句话总结

本文提出了一种用于分布式子模最大化问题的随机可组合核心集方法，其中数据被随机划分到多个机器上，每台机器上使用贪心算法构建核心集。该方法在基数约束下对单调子模函数实现了1/3近似，显著优于非随机核心集的Ω(log k / √k)不可能性下界，并首次实现了总通信复杂度为O(n)的两轮MapReduce常数因子近似算法。

ABSTRACT

An effective technique for solving optimization problems over massive data sets is to partition the data into smaller pieces, solve the problem on each piece and compute a representative solution from it, and finally obtain a solution inside the union of the representative solutions for all pieces. This technique can be captured via the concept of {\em composable core-sets}, and has been recently applied to solve diversity maximization problems as well as several clustering problems. However, for coverage and submodular maximization problems, impossibility bounds are known for this technique \cite{IMMM14}. In this paper, we focus on efficient construction of a randomized variant of composable core-sets where the above idea is applied on a {\em random clustering} of the data. We employ this technique for the coverage, monotone and non-monotone submodular maximization problems. Our results significantly improve upon the hardness results for non-randomized core-sets, and imply improved results for submodular maximization in a distributed and streaming settings. In summary, we show that a simple greedy algorithm results in a $1/3$-approximate randomized composable core-set for submodular maximization under a cardinality constraint. This is in contrast to a known $O({\log k\over \sqrt{k}})$ impossibility result for (non-randomized) composable core-set. Our result also extends to non-monotone submodular functions, and leads to the first 2-round MapReduce-based constant-factor approximation algorithm with $O(n)$ total communication complexity for either monotone or non-monotone functions. Finally, using an improved analysis technique and a new algorithm $\mathsf{PseudoGreedy}$, we present an improved $0.545$-approximation algorithm for monotone submodular maximization, which is in turn the first MapReduce-based algorithm beating factor $1/2$ in a constant number of rounds.

研究动机与目标

• 为克服在基数约束下非随机可组合核心集在子模最大化问题中已知的不可能性下界。
• 设计一种高效的分布式子模最大化算法，实现在少量轮次内达到常数因子近似。
• 为机器学习中广泛使用的经验技术（包括随机聚类与贪心核心集构建）提供理论基础。
• 将该方法扩展至单调与非单调子模函数，实现在MapReduce与流式计算模型中更优的近似因子。

提出的方法

• 将基集随机划分为m个簇，将每个元素随机分配给C台选定的机器，形成具有多重性的随机聚类。
• 在每台机器上，应用贪心算法从本地数据中构建核心集S'ℓ，选择边际增益最高的元素。
• 引入随机采样步骤：每台机器从其核心集S'ℓ中输出一个大小为k'的随机子集，以减少通信量并确保覆盖性。
• 通过限制随机聚类与采样导致的最优解损失，分析输出集合并集的期望值。
• 利用子模性与收益递减性质，推导边际增益与核心集质量的集中不等式。
• 提出一种新算法PseudoGreedy，将MapReduce中单调子模最大化的近似因子提升至0.545。

实验结果

研究问题

• RQ1 随机可组合核心集能否克服非随机可组合核心集在子模最大化问题中Ω(log k / √k)的不可能性下界？
• RQ2 在总通信复杂度为O(n)的两轮MapReduce模型中，使用随机可组合核心集可实现多高的近似因子？
• RQ3 随机可组合核心集框架能否扩展至非单调子模函数，同时保持常数因子近似？
• RQ4 随机聚类的多重性C的增加如何影响可实现的近似因子？
• RQ5 在MapReduce中，是否可以通过迭代或增强的核心集构建方法，突破单调子模最大化问题中1/2近似障碍？

主要发现

• 本文通过在随机可组合核心集上使用简单贪心算法，实现了在基数约束下对单调子模最大化的1/3近似。
• 提出了首个两轮MapReduce算法，总通信复杂度为O(n)，对单调与非单调子模函数均实现了常数因子近似。
• 对于单调子模最大化的场景，改进的PseudoGreedy算法实现了0.545近似，打破了常数轮次内的1/2近似障碍。
• 分析表明，输出核心集并集的期望值为Ω(√(k'/k) · f(OPT))，当k'适当前合理选择时，可实现常数因子近似。
• 随机可组合核心集框架为机器学习中广泛应用且经验上成功的随机聚类与贪心选择技术提供了理论依据。
• 该方法可扩展至更一般的打包约束（如拟阵约束），表明其在基数约束之外也具有更广泛的应用潜力。