[论文解读] Improved MapReduce and Streaming Algorithms for $k$-Center Clustering (with Outliers)

Matteo Ceccarello, Andrea Pietracaprina+1 more|arXiv (Cornell University)|Feb 26, 2018

Data Management and Algorithms参考文献 30被引用 1

一句话总结

本文提出了一种新颖的MapReduce和流处理算法，用于带异常值和不带异常值的$k$-中心聚类问题，通过高效利用资源，实现了逼近最优解的近似因子。该方法在分布式和流处理环境中保持了高精度并具备良好的可扩展性。

ABSTRACT

We present efficient MapReduce and Streaming algorithms for the $k$-center problem with and without outliers. Our algorithms exhibit an approximation factor which is arbitrarily close to the best possible, given enough resources.

研究动机与目标

• 为解决在分布式和流处理环境中可扩展的$k$-中心聚类挑战，特别是当数据可能包含异常值时。
• 设计在计算资源有限的情况下仍能保持高近似质量（任意接近最佳可能值）的算法。
• 在流处理和批处理的MapReduce框架中同时支持异常值感知和无异常值的聚类。
• 在大规模数据处理工作负载中确保实际效率和理论保证。

提出的方法

• 该算法采用两阶段方法：首先，使用基于采样的策略识别候选中心，以在保留聚类质量的同时减小数据规模。
• 在MapReduce框架中应用改进的贪心选择过程，迭代选择能最小化最大半径的中心。
• 在流处理模型中，使用滑动窗口和自适应采样，以保持对最近数据的紧凑摘要，实现实时聚类。
• 通过惩罚机制集成异常值处理，排除与所有当前中心距离过远的点。
• 理论分析表明，随着资源增加，近似因子趋近于目前已知的最佳界限。
• 资源感知调优使算法能够根据可用内存和计算能力动态调整精度。

实验结果

研究问题

• RQ1 我们能否设计一种用于带异常值的$k$-中心聚类的MapReduce算法，使其近似因子任意接近最优？
• RQ2 我们如何将此方法扩展到流处理模型，同时保持强理论保证？
• RQ3 在分布式$k$-中心聚类带异常值的情况下，资源使用与近似质量之间的权衡是什么？
• RQ4 该算法能否在同一个框架内高效处理包含异常值和不包含异常值的情形？

主要发现

• 所提出的MapReduce算法在计算资源充足时，可实现任意接近最优的近似因子。
• 流处理算法在单次遍历且内存受限的情况下，仍能保持相似的近似质量。
• 异常值处理被无缝集成，使算法能够排除噪声或距离过远的点，而不会降低聚类质量。
• 算法具有高效的可扩展性，随着资源增加，性能持续提升，聚类质量趋近最优解。