[論文レビュー] Parallel K-Medoids++ Spatial Clustering Algorithm Based on MapReduce

Yue Xia, Man Wang+2 more|arXiv (Cornell University)|Aug 24, 2016

Advanced Clustering Algorithms Research参考文献 5被引用数 10

ひとこと要約

本論文は、マップリダスフレームワークを用いて、大規模な空間データセットを効率的に処理するための並列K-Medoids++空間クラスタリングアルゴリズムを提案する。改善された初期化手法とマップリダスを統合することで、従来のK-Medoidsと比較して反復回数を削減し、コンmodityハードウェア上でも優れたスケーラビリティとパフォーマンスを達成する。

ABSTRACT

Clustering analysis has received considerable attention in spatial data mining for several years. With the rapid development of the geospatial information technologies, the size of spatial information data is growing exponentially which makes clustering massive spatial data a challenging task. In order to improve the efficiency of spatial clustering for large scale data, many researchers proposed several efficient clustering algorithms in parallel. In this paper, a new K-Medoids++ spatial clustering algorithm based on MapReduce for clustering massive spatial data is proposed. The initialization algorithm to decrease the number of iterations is combined with the MapReduce framework. Comparative Experiments conducted over different dataset and different number of nodes indicate that the proposed K-Medoids spatial clustering algorithm provides better efficiency than traditional K-Medoids and scales well while processing massive spatial data on commodity hardware.

研究の動機と目的

• 地理情報技術から生じる大規模な空間データセットのクラスタリングという増大する課題に対処する。
• 分散コンピューティングを活用して、ビッグデータにおける空間クラスタリングの効率を向上させる。
• 最適化された初期化戦略により、K-Medoidsクラスタリングの反復回数を削減する。
• マップリダス並列コンピューティングモデルを用いて、コンmodityハードウェア上でも高いスケーラビリティとパフォーマンスを実現する。

提案手法

• K-Medoids++初期化アルゴリズムを適応し、より多様性と質の高い初期クラスタ中心を選択する。
• マップリダスフレームワーク内にクラスタリング処理を実装し、データ処理をマップフェーズとリダスフェーズに分割する。
• マップフェーズでは、距離計算に基づいてデータポイントを最も近いメドイドに割り当てる。
• リダスフェーズでは、各クラスタ内の距離の合計を最小化することでメドイドを更新する。
• 複数のマップリダス反復において、クラスタ割り当てとメドイドの更新を繰り返し精緻化する。
• K-Medoids++初期化を統合することで、収束速度とクラスタリング品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マップリダスに基づく並列K-Medoids++アルゴリズムは、大規模な空間データのクラスタリング時間を顕著に短縮できるか？
• RQ2 提案された初期化手法は、標準的なK-Medoidsと比較して反復回数と収束速度にどのように影響するか？
• RQ3 データサイズとコンputingノード数の増加に伴い、アルゴリズムのスケーラビリティはどの程度向上するか？
• RQ4 性能面と正確性面において、伝統的なK-Medoidsと比較して、本アルゴリズムの効率性はどのように評価されるか？
• RQ5 コンmodityハードウェアを用いることで、空間クラスタリングタスクにおける高いスケーラビリティを達成する影響は何か？

主な発見

• 改善されたK-Medoids++初期化のおかげで、収束に必要な反復回数が削減された。
• 比較実験の結果、さまざまなデータセットとノード数において、従来のK-Medoidsよりも優れた効率性が示された。
• アルゴリズムはコンmodityハードウェアでも良好にスケーリングされ、データサイズとクラスタ数の増加に対してもパフォーマンスを維持した。
• ノード数の増加に伴い一貫したパフォーマンス向上が観察されたため、強力な水平スケーラビリティを示した。
• K-Medoids++とマップリダスの統合により、処理時間が短縮され、計算オーバーヘッドが低減した。
• 本手法は、効率性を維持しながら高いクラスタリング品質を達成しており、実世界の大規模な空間データ応用に適している。