[論文レビュー] Variance-based Clustering Technique for Distributed Data Mining Applications

Lamine M. Aouad, Nhien‐An Le‐Khac+1 more|arXiv (Cornell University)|Mar 28, 2017

Data Mining Algorithms and Applications被引用数 8

ひとこと要約

本稿では、通信オーヘッドを最小限に抑えるために、独立した局所的クラスタリングと最小分散増加を用いた結果の統合を行う分散型クラスタリングアルゴリズムを提案する。局所的データ分布の精度を向上させるために、部分クラスタの摂動を導入し、緩く結合された分散環境において、中央集権的手法を著しく上回るクラスタリング品質を達成する。

ABSTRACT

Nowadays, huge amounts of data are naturally collected in distributed sites due to different facts and moving these data through the network for extracting useful knowledge is almost unfeasible for either technical reasons or policies. Furthermore, classical par- allel algorithms cannot be applied, specially in loosely coupled environments. This requires to develop scalable distributed algorithms able to return the global knowledge by aggregating local results in an effective way. In this paper we propose a distributed algorithm based on independent local clustering processes and a global merging based on minimum variance increases and requires a limited communication overhead. We also introduce the notion of distributed sub-clusters perturbation to improve the global generated distribution. We show that this algorithm improves the quality of clustering compared to classical local centralized ones and is able to find real global data nature or distribution.

研究の動機と目的

• 技術的または政策的制約により、データ移動が不可能な大規模かつ分散型のデータをマイニングする課題に対処すること。
• 従来の並列アルゴリズムが失敗するような緩く結合された環境に適したスケーラブルな分散クラスタリングアルゴリズムを開発すること。
• 分散サイト間で高いクラスタリング品質を維持しつつ、通信オーヘッドを最小限に抑えること。
• 分散ベースの統合と部分クラスタの摂動を用いて、グローバルなデータ分布のモデリングを改善し、グローバルなクラスタリング精度を向上させること。

提案手法

• 分散データサイトで独立した局所的クラスタリングを実行し、局所的クラスタ構造を生成する。
• 最小分散増加を基準に選択する分散ベースの統合戦略を用い、安定性と正確性を確保する。
• グローバルなデータ分布を模擬し、局所的クラスタリングに起因するバイアスを低減するために、分散型の部分クラスタ摂動を導入する。
• 最小分散増加を優先するグローバル統合プロセスを通じて、局所的結果を集約する。
• 必要なクラスタ統計情報（例：重心、分散）のみをサイト間で交換する通信効率の良いプロトコルを適用する。
• 完全なデータ転送を回避し、グローバル知識抽出に統計的要約に依存することで、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的な生データの集約なしに、高品質なグローバルクラスタリングを達成できる分散クラスタリングアルゴリズムは存在するか？
• RQ2 分散環境において、分散ベースの統合戦略は、グローバルクラスタ構造の正確性をどのように向上させるか？
• RQ3 部分クラスタ摂動は、グローバルデータ分布の代表性をどの程度向上させるか？
• RQ4 緩く結合された分散システムにおけるクラスタリング性能に、通信オーヘッドが及ぼす影響は何か？

主な発見

• 提案されたアルゴリズムは、古典的な局所的中央集権的クラスタリング手法よりも著しく優れたクラスタリング品質を達成する。
• 分散ベースの統合戦略は、最小分散増加を基準に最適なグローバルクラスタ組み合わせを効果的に同定する。
• 部分クラスタ摂動により、グローバルな分布モデリングが向上し、局所的データの偏りに起因するバイアスが低減される。
• 通信オーヘッドは低く抑えられ、サイト間で交換されるのは生データではなくクラスタ統計情報にとどまる。