[論文レビュー] Performance Comparison of Incremental K-means and Incremental DBSCAN Algorithms

Sanjay Chakraborty, Naresh Kumar Nagwani+1 more|arXiv (Cornell University)|Jun 18, 2014

Internet Traffic Analysis and Secure E-voting参考文献 6被引用数 41

ひとこと要約

本論文は、空気汚染データベースを用いて、動的環境下でのインクリメンタルK-meansとインクリメンタルDBSCANアルゴリズムの性能を比較している。インクリメンタルDBSCANが、クラスタリング品質と進化するデータパターンへの適応性という点で、インクリメンタルK-meansを上回ることを示している。

ABSTRACT

Incremental K-means and DBSCAN are two very important and popular clustering techniques for today's large dynamic databases (Data warehouses, WWW and so on) where data are changed at random fashion. The performance of the incremental K-means and the incremental DBSCAN are different with each other based on their time analysis characteristics. Both algorithms are efficient compare to their existing algorithms with respect to time, cost and effort. In this paper, the performance evaluation of incremental DBSCAN clustering algorithm is implemented and most importantly it is compared with the performance of incremental K-means clustering algorithm and it also explains the characteristics of these two algorithms based on the changes of the data in the database. This paper also explains some logical differences between these two most popular clustering algorithms. This paper uses an air pollution database as original database on which the experiment is performed.

研究の動機と目的

• 動的で大規模なデータベースにおけるインクリメンタルK-meansとインクリメンタルDBSCANの性能を評価・比較すること。
• 両アルゴリズムが現実世界のシナリオにおいて、時間の経過に伴い変化するデータ更新をどのように処理するかを分析すること。
• 異なるデータ分布と更新頻度の下での、両アルゴリズムの強みと限界を特定すること。
• 動的データウェアハウスにおけるクラスタリング品質と計算効率に関する実証的証拠を提供すること。
• インクリメンタル学習環境におけるK-meansとDBSCANの論理的・構造的差異を強調すること。

提案手法

• 本研究では、動的データ処理を目的とした、K-meansとDBSCANの両方のインクリメンタル版を実装した。
• 進化するデータパターンをシミュレートするために、実世界のデータセットとして空気汚染データベースが使用された。
• 性能指標には、クラスタリングの正確性、処理時間、データ更新への適応性が含まれる。
• スケーラビリティを評価するために、データ挿入および更新頻度を変化させた実験が実施された。
• 両アルゴリズムのインクリメンタル性により、全データセットの再処理なしにオンライン学習が可能となった。
• 時間計算量、クラスタリング品質、データドリフト下での安定性を基準に、両アルゴリズムの比較がなされた。

実験結果

リサーチクエスチョン

• RQ1 動的データ更新下で、インクリメンタルK-meansとインクリメンタルDBSCANの処理時間と正確性はどのように異なるか？
• RQ2 データが時間経過とともに変化する際、インクリメンタルK-meansとインクリメンタルDBSCANの適応性にどのような主な差異があるか？
• RQ3 空気質データのような現実世界の動的データベースにおいて、クラスタリングアルゴリズムの選択が結果の品質にどのように影響するか？
• RQ4 クラスタリングの安定性と正確性という観点から、インクリメンタルDBSCANがインクリメンタルK-meansを上回るシナリオはどのようなものか？
• RQ5 両アルゴリズムは、完全な再クラスタリングなしに、クラスタ構造の挿入と変更をどのように処理するか？

主な発見

• インクリメンタルDBSCANは、特にクラスタリング品質と適応性という点で、インクリメンタルK-meansよりも優れた性能を示した。
• 新しいデータポイントが時間経過とともに導入される際、インクリメンタルDBSCANはより良好なクラスタの安定性と正確性を維持した。
• インクリメンタルK-meansは、データの順序や初期重心の配置に対してより感受性が高く、結果の一貫性に影響を及えた。
• 両アルゴリズムとも、バッチ処理の対応バージョンに比べて、時間的・コスト的・計算的負荷の面でより効率的であった。
• データ量と更新頻度が増加するにつれて、性能の差が顕著に現れた。
• インクリメンタルDBSCANは、形状や密度が異なるクラスタを検出するのに優れており、現実世界の動的データベースにおいて極めて重要である。