[論文レビュー] Analysis and Study of Incremental DBSCAN Clustering Algorithm

Sanjay Chakraborty, Naresh Kumar Nagwani|arXiv (Cornell University)|Jun 18, 2014

Data Mining Algorithms and Applications参考文献 4被引用数 16

ひとこと要約

この論文では、データの挿入や削除後に動的データベース内のクラスタを効率的に更新するインクリメンタルDBSCANアルゴリズムを提案している。フル再処理を回避することで、変化を既存のクラスタに伝播させ、影響を受ける領域のみを再評価することにより、計算コストを著しく削減しながらクラスタリングの正確性を維持する。30%までのデータ変更においてもバッチDBSCANの結果から顕著に逸脱しない安定した性能を示している。

ABSTRACT

This paper describes the incremental behaviours of Density based clustering. It specially focuses on the Density Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm and its incremental approach.DBSCAN relies on a density based notion of clusters.It discovers clusters of arbitrary shapes in spatial databases with noise.In incremental approach, the DBSCAN algorithm is applied to a dynamic database where the data may be frequently updated. After insertions or deletions to the dynamic database, the clustering discovered by DBSCAN has to be updated. And we measure the new cluster by directly compute the new data entering into the existing clusters instead of rerunning the algorithm.It finally discovers new updated clusters and outliers as well.Thus it describes at what percent of delta change in the original database the actual and incremental DBSCAN algorithms behave like same.DBSCAN is widely used in those situations where large multidimensional databases are maintained such as Data Warehouse.

研究の動機と目的

• 動的データベースにおいて、データ更新ごとにバッチDBSCANを再実行する非効率性を解消すること。
• フル再計算を最小限に抑えつつ、クラスタ構造と外れ値検出を保持するインクリメンタルアルゴリズムを設計すること。
• 異なる程度のデータ変更におけるインクリメンタル手法の性能と正確性を評価すること。
• インクリメンタルDBSCANがバッチDBSCANの結果から逸脱し始め始める閾値を特定すること。

提案手法

• アルゴリズムは既存のクラスタ構造を維持し、新たに挿入または削除されたオブジェクトの近傍領域内のデータポイントのみを再評価する。
• 新しいデータポイントが既存のクラスタに割り当てられるか、新しいクラスタを形成するかを密度基準に基づいて決定する。
• 各更新後、影響を受けるポイントの到達可能性およびコアポイント状態を再確認し、クラスタ構造全体に変更を伝播させる。
• 変更されたデータの周囲の局所領域に限定して処理することで、バッチ処理と比較して時間計算量を削減する。
• データベース内の変更をトラッキングするデルタベースのメカニズムを統合し、局所的な再クラスタリングをトリガーする。
• 各変更後の結果をバッチDBSCANの出力と比較することで、インクリメンタル更新プロセスの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルDBSCANアルゴリズムがバッチDBSCANの結果から逸脱し始め始めるデータ変更のレベルは何か？
• RQ2 挿入や削除の後、フルDBSCANを再実行するのと比較して、インクリメンタルアルゴリズムはどの程度効率的にクラスタを更新できるか？
• RQ3 データ密度および空間的分布が、インクリメンタルクラスタリングプロセスの安定性と正確性に与える影響は何か？
• RQ4 動的データベースにおいて、インクリメンタルアプローチはどのようにしてクラスタ形状と外れ値検出を保持するか？
• RQ5 インクリメンタルDBSCANが許容可能な正確性と性能を維持できる最大のデータ変更割合は何か？

主な発見

• インクリメンタルDBSCANアルゴリズムは、30%までのデータ変更においてもクラスタリングの正確性を許容可能な範囲に保っている。
• 特に大規模な動的データベースにおいて、フルバッチ再処理と比較して計算コストを顕著に削減している。
• データ更新後のインクリメンタルアプローチは、クラスタ構造を的確に保持し、外れ値を正しく同定している。
• 中程度のデータ変更においては、複数の更新サイクルにわたり安定した挙動を示し、バッチ結果からの偏差が最小限に抑えられている。
• 多次元データベースにおいてもスケーラビリティと効率性を示しており、データウェアハウス用途に適している。
• 性能の劣化は30%を超えるデータ変更で顕著に現れ、信頼できるインクリメンタル動作の実用的閾値を示している。