[論文レビュー] Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark

Tapan Sharma, Vinod Shokeen+1 more|arXiv (Cornell University)|May 5, 2016

Advanced Clustering Algorithms Research被引用数 12

ひとこと要約

本論文では、Hadoop MapReduceおよびApache Sparkを用いて、大規模な衛星画像の並列的複数K-means++クラスタリングフレームワークを提案する。本手法は、同じMapReduceイテレーション内でのスケーラブルK-means++初期化と簡略化されたシルエット指数による検証を活用し、大規模な衛星データにおけるクラスタリングの品質と効率を向上させる。Sparkはメモリ内処理および反復最適化の能力により、優れたパフォーマンスを示している。

ABSTRACT

Clustering of image is one of the important steps of mining satellite images. In our experiment we have simultaneously run multiple K-means algorithms with different initial centroids and values of k in the same iteration of MapReduce jobs. For initialization of initial centroids we have implemented Scalable K-Means++ MapReduce (MR) job [1]. We have also run a validation algorithm of Simplified Silhouette Index [2] for multiple clustering outputs, again in the same iteration of MR jobs. This paper explored the behavior of above mentioned clustering algorithms when run on big data platforms like MapReduce and Spark jobs. Spark has been chosen as it is popular for fast processing particularly where iterations are involved.

研究の動機と目的

• 大規模な衛星画像を分散コンピューティングフレームワークを用いて、効率的にクラスタリングする課題に対処すること。
• 異なるk値と初期重心を用いた複数のK-meansインスタンスを同時に実行することで、クラスタリング品質を向上させること。
• 同じイテレーション内でのScalable K-Means++ MapReduceによる重心初期化と、Simplified Silhouette Indexによる検証を統合すること。
• 衛星画像の反復的クラスタリングワークロードにおけるHadoop MapReduceとApache Sparkのパフォーマンスを評価・比較すること。
• 最適化された分散実行により、ビッグデータ画像クラスタリングにおけるスケーラビリティと収束速度を向上させること。

提案手法

• 異なるk値と初期重心を用いた複数のK-meansクラスタリングジョブを、1つのMapReduceイテレーション内で同時に実行する。
• 効率的かつ効果的なクラスタ重心の初期化のため、Scalable K-Means++ MapReduceジョブを用いる。
• 複数回の実行におけるクラスタリング品質の評価を可能にするために、同じMapReduceイテレーション内にSimplified Silhouette Index検証アルゴリズムを統合する。
• Apache Sparkのメモリ内処理を活用し、Hadoop MapReduceに比べて反復的クラスタリング操作を高速化する。
• 初期化、クラスタリング、検証を1つの分散ジョブフローに統合した包括的なデータ処理パイプラインを設計する。
• クラスターノード間で大規模な衛星画像データセットを処理するために、分散コンピューティング抽象化を活用する。

実験結果

リサーチクエスチョン

• RQ1 異なるk値を用いた複数のK-means++インスタンスの統合は、衛星画像におけるクラスタリング品質をどのように向上させるか？
• RQ2 衛星画像データにおける反復的クラスタリングにおいて、Apache SparkはHadoop MapReduceに比べてどの程度のパフォーマンス向上を達成するか？
• RQ3 同じMapReduceイテレーション内で並列に計算されたSimplified Silhouette Indexは、検証指標としてどの程度有効か？
• RQ4 大規模な衛星データセットに対して、スケーラブルK-means++初期化は分散環境で効率的に並列化可能か？
• RQ5 複数のK-meansインスタンスを同時に実行する際の、クラスタリングの正確性と計算効率のトレードオフは何か？

主な発見

• Apache Sparkは、メモリ内処理および最適化された反復計算のおかげで、実行速度においてHadoop MapReduceを上回った。
• 異なるk値と初期重心を用いた複数のK-meansインスタンスの同時実行により、比較的検証を介したクラスタリング品質の向上が達成された。
• Simplified Silhouette Indexは、同じMapReduceイテレーション内で並列に計算され、リアルタイムでのクラスタリング品質評価が可能になった。
• Scalable K-Means++初期化は、MapReduce上で効果的に実装され、より良い初期重心選択と高速な収束が実現された。
• 従来の単一kクラスタリング手法に比べ、提案フレームワークは大規模な衛星画像データセットにおいてより高いスケーラビリティと効率性を達成した。
• 初期化、クラスタリング、検証を1つの分散ジョブフローに統合することで、データシャッフルとI/Oオーバーヘッドが削減された。