[论文解读] Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark

Tapan Sharma, Vinod Shokeen+1 more|arXiv (Cornell University)|May 5, 2016

Advanced Clustering Algorithms Research被引用 12

一句话总结

本文提出了一种基于Hadoop MapReduce和Apache Spark的并行多K-means++聚类框架，用于卫星图像处理，利用可扩展的K-means++初始化方法和简化轮廓指数验证机制，在同一MapReduce迭代中实现聚类优化。该方法在大规模卫星数据上显著提升了聚类质量和效率，其中Spark凭借其内存内处理和迭代优化能力表现出更优性能。

ABSTRACT

Clustering of image is one of the important steps of mining satellite images. In our experiment we have simultaneously run multiple K-means algorithms with different initial centroids and values of k in the same iteration of MapReduce jobs. For initialization of initial centroids we have implemented Scalable K-Means++ MapReduce (MR) job [1]. We have also run a validation algorithm of Simplified Silhouette Index [2] for multiple clustering outputs, again in the same iteration of MR jobs. This paper explored the behavior of above mentioned clustering algorithms when run on big data platforms like MapReduce and Spark jobs. Spark has been chosen as it is popular for fast processing particularly where iterations are involved.

研究动机与目标

• 为解决利用分布式计算框架高效聚类大规模卫星图像的挑战。
• 通过同时运行多个k值和初始质心不同的K-means实例，提升聚类质量。
• 在单次迭代中集成通过可扩展K-Means++ MapReduce进行质心初始化，并利用简化轮廓指数进行验证。
• 评估并比较Hadoop MapReduce和Apache Spark在卫星图像迭代聚类工作负载中的性能表现。
• 通过优化的分布式执行机制，提升大规模图像聚类的可扩展性和收敛速度。

提出的方法

• 在单次MapReduce迭代中，同时执行多个k值和初始质心不同的K-means聚类任务。
• 使用可扩展K-Means++ MapReduce任务，实现高效且准确的聚类质心初始化。
• 在相同MapReduce迭代中集成简化轮廓指数验证算法，用于评估多轮运行下的聚类质量。
• 利用Apache Spark的内存内处理能力，相比Hadoop MapReduce，显著加速迭代聚类操作。
• 设计统一的数据处理流水线，将初始化、聚类和验证整合为单一分布式任务流程。
• 利用分布式计算抽象，在集群节点间处理大规模卫星图像数据集。

实验结果

研究问题

• RQ1 在卫星图像上，集成多个k值不同的K-means++实例，如何提升聚类质量？
• RQ2 与Hadoop MapReduce相比，使用Apache Spark在卫星图像数据的迭代聚类中能带来多大的性能提升？
• RQ3 在相同MapReduce迭代中并行计算简化轮廓指数作为验证指标，其有效性如何？
• RQ4 可扩展K-means++初始化能否在分布式环境中高效并行化处理大规模卫星数据集？
• RQ5 在同时运行多个K-means实例时，聚类准确率与计算效率之间的权衡关系如何？

主要发现

• 由于内存内处理和优化的迭代计算，Apache Spark在执行速度上优于Hadoop MapReduce。
• 通过同时执行多个k值和初始质心不同的K-means实例，结合对比验证，显著提升了聚类质量。
• 简化轮廓指数成功在单次MapReduce迭代中实现并行计算，实现了聚类质量的实时评估。
• 可扩展K-Means++初始化在MapReduce中得到有效实现，确保了更优的初始质心选择和更快的收敛速度。
• 与传统单k值聚类方法相比，所提出的框架在大规模卫星图像数据集上实现了更高的可扩展性和效率。
• 将初始化、聚类和验证整合为单一分布式任务流程，减少了数据洗牌和I/O开销。