[論文レビュー] A Tabu Search based clustering algorithm and its parallel implementation on Spark

Yinhao Lu, Buyang Cao+2 more|arXiv (Cornell University)|Feb 5, 2017

Advanced Clustering Algorithms Research参考文献 15被引用数 4

ひとこと要約

この論文では、局所最適解を避けることで収束性と解の品質を向上させる、Tabu Searchを強化したK-meansクラスタリングアルゴリズムを提案し、大規模データワークロード向けにApache Spark上で効率的に実装している。実験結果から、Spark MLlibの標準K-meansと比較して優れたスケーラビリティ、正確性、有効性を示している。

ABSTRACT

The well-known K-means clustering algorithm has been employed widely in different application domains ranging from data analytics to logistics applications. However, the K-means algorithm can be affected by factors such as the initial choice of centroids and can readily become trapped in a local optimum. In this paper, we propose an improved K-means clustering algorithm that is augmented by a Tabu Search strategy, and which is better adapted to meet the needs of big data applications. Our design is further enhanced to take advantage of parallel processing based on the Spark framework. Computational experiments demonstrate the superiority of our Tabu Search based clustering algorithm over a widely used version of the K-means approach embodied in Spark MLlib, comparing the algorithms in terms of scalability, accuracy, and effectiveness.

研究の動機と目的

• K-meansの初期重心選択への感受性と局所最適解への収束傾向を緩和すること。
• K-meansフレームワークにTabu Searchメタヒューリスティック戦略を統合することで、クラスタリング品質を向上させること。
• Spark分散コンピューティングフレームワークを活用して、大規模データにおける効率的かつスケーラブルなクラスタリングを実現すること。
• 最先端の実装と比較して、提案アルゴリズムの正確性、スケーラビリティ、計算効率の観点からその性能を評価すること。

提案手法

• 局所最適解から脱出するために、最近訪問した解の短期記憶を保持するTabu Searchメカニズムを標準K-meansアルゴリズムに拡張する。
• タブーリストを用いて特定の重心構成への移動を制限し、探索空間における多様性を促進する。
• 重心の再配置に基づく近傍構造を設計し、代替クラスタリング解の探索を可能にする。
• Apache Sparkのレジlients Distributed Datasets (RDDs) を活用して、効率的なデータパーティショニングと並列実行を実現する分散処理としてアルゴリズムを実装する。
• 複数回の改善処理をサポートするため、Sparkの反復計算モデルにTabu Searchの論理を統合する。
• データシャッフルの最小化とクラスターノード間でのメモリ内計算の最大化により、通信オーバーヘッドを最適化する。

実験結果

リサーチクエスチョン

• RQ1 Tabu Searchは、高次元および大規模データセットにおけるK-meansの解の品質を効果的に改善できるか？
• RQ2 標準K-meansと比較して、提案アルゴリズムの収束速度と安定性はいかがなっているか？
• RQ3 Sparkベースの並列化は、Tabu Search-K-meansハイブリッドのスケーラビリティをどの程度向上させているか？
• RQ4 提案アルゴリズムは、Spark MLlibのK-means実装と比較して、正確性と実行時間効率においてどのように異なるか？

主な発見

• 提案されたTabu SearchベースのK-meansアルゴリズムは、複数のベンチマークデータセットにおいて、Spark MLlibのK-meansと比較して顕著に高いクラスタリング正確性を達成している。
• 最適化されたSpark統合のおかげで、大規模データセットをより効率的に処理できる優れたスケーラビリティを示している。
• 計算実験により、Tabu Searchメカニズムが、劣悪な局所最適解への収束の可能性を低減することが確認された。
• Spark上での並列実装は、高い負荷分散を維持し、通信オーバーヘッドを最小限に抑え、クラスタ間での効率的な分散処理を可能にしている。