[论文解读] Greedy and Local Ratio Algorithms in the MapReduce Model

Nicholas J. A. Harvey, Christopher Liaw+1 more|arXiv (Cornell University)|Jun 17, 2018

Complexity and Algorithms in Graphs被引用 4

一句话总结

本文提出了两种新颖的技术——随机化局部比率法与贪心饥饿法，用于设计高效 MapReduce 算法，解决基础图论与优化问题。该方法在常数轮内实现了加权顶点覆盖与匹配的 2-近似解，加权集合覆盖的 f-近似解，以及加权集合覆盖的 (1+ε)ln∆-近似解，同时提供了 (1+o(1))Δ-染色算法，所有算法均在常数轮内完成，且每台机器的内存使用为亚线性。

ABSTRACT

MapReduce has become the de facto standard model for designing distributed algorithms to process big data on a cluster. There has been considerable research on designing efficient MapReduce algorithms for clustering, graph optimization, and submodular optimization problems. We develop new techniques for designing greedy and local ratio algorithms in this setting. Our randomized local ratio technique gives $2$-approximations for weighted vertex cover and weighted matching, and an $f$-approximation for weighted set cover, all in a constant number of MapReduce rounds. Our randomized greedy technique gives algorithms for maximal independent set, maximal clique, and a $(1+ε)\ln Δ$-approximation for weighted set cover. We also give greedy algorithms for vertex colouring with $(1+o(1))Δ$ colours and edge colouring with $(1+o(1))Δ$ colours.

研究动机与目标

• 在每台机器的内存使用为亚线性约束下，为经典 NP-难优化问题设计高效的 MapReduce 算法。
• 克服贪心算法与局部比率算法在 MapReduce 等并行分布式模型中固有的顺序性问题。
• 为顶点覆盖、匹配、集合覆盖与图染色等问题，实现常数轮近似算法，并达到最优或近似最优的近似比。
• 通过利用随机采样与权重缩减策略，实现可实际部署且可扩展的实现，同时保持近似保证。
• 解决由于空间限制导致标准归约在 MapReduce 中不可行的问题，特别是针对图染色与最大团等问题。

提出的方法

• 提出一种随机化局部比率技术：独立同分布地采样元素，在样本上运行局部比率算法，并通过权重调整消除未采样元素的常数比例。
• 在局部比率框架中应用 ε-调整的权重缩减，确保非重边在常数轮内被消除，同时保持近似比。
• 提出“贪心饥饿”技术：优先采样高权重或高程度的元素，其目的并非直接优化目标函数，而是快速缩小问题规模，从而实现快速收敛。
• 利用边或顶点的随机采样，并结合集中极限不等式（如 Chernoff 不等式）来确保在各轮中度数或权重缩减的高概率保证。
• 采用基于栈的贪心展开阶段，从缩减权重的边中构建最终解，确保正确性与近似界。
• 利用 Hajnal-Szemerédi 定理指导 (1+o(1))Δ-染色算法，通过确保缩减后各颜色类大小均衡。

实验结果

研究问题

• RQ1 贪心与局部比率算法（通常为顺序执行）能否在 MapReduce 模型中被有效并行化，且不损失近似质量？
• RQ2 能否利用随机采样以模拟局部比率更新，从而确保每轮中未采样元素的常数比例被消除？
• RQ3 贪心方法能否被适配到缺乏自然目标排序或优先级函数的问题上，如最大团或图染色？
• RQ4 当标准归约（如补图）在空间受限的 MapReduce 环境中不可行时，如何克服每台机器的亚线性内存限制？
• RQ5 对于加权集合覆盖、顶点覆盖与 b-匹配问题，在常数轮 MapReduce 中可达到何种近似比？

主要发现

• 随机化局部比率算法在高概率下以 O(1) 轮实现最小权重顶点覆盖与最大权重匹配的 2-近似解。
• 相同技术在常数轮内实现最小权重集合覆盖的 f-近似解，其中 f 为任一元素的最大频率。
• 对于 b ≥ 2 的最大权重 b-匹配问题，当 μ > 0 时，算法在 O(c/μ) 轮内实现 (3 − 2/b + 2ε)-近似解；当 μ = 0 时，实现 O(log n) 轮内的近似解。
• 贪心饥饿技术在 O(1) 轮内实现加权集合覆盖的 (1 + ε)ln Δ-近似解，通过采样快速缩小问题规模。
• 本文提出针对顶点染色与边染色的 (1 + o(1))Δ-染色算法，在常数轮内实现接近最优的逼近界。
• 分析表明，在 O(1) 轮后，最大度数 Δ 以高概率每轮减少 n^μ/4 的因子，从而实现快速收敛。