[論文レビュー] HCA-DBSCAN: HyperCube Accelerated Density Based Spatial Clustering for Applications with Noise

Vinayak Mathur, J.P. Mehta+1 more|arXiv (Cornell University)|Dec 1, 2019

Data Management and Algorithms参考文献 8被引用数 5

ひとこと要約

HCA-DBSCAN は、仮想的なハイパーキューブと代表点を用いて、DBSCAN の実行をグリッドベースで高速化する手法であり、対比較距離計算を削減することで、FastDBSCAN より最大 58.27% の実行時間短縮を達成しながら、100% のクラスタリング精度と任意形状のクラスタ検出を維持する。この手法は、ハイパーキューブグリッドを段階的深さ優先走査することで、最小限の計算量で隣接クラスタを効率的に同定する。

ABSTRACT

Density-based clustering has found numerous applications across various domains. The Density-Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm is capable of finding clusters of varied shapes that are not linearly separable, at the same time it is not sensitive to outliers in the data. Combined with the fact that the number of clusters in the data are not required apriori makes DBSCAN really powerfully. Slower performance (O(n2)) limits its applications. In this work, we present a new clustering algorithm, the HyperCube Accelerated DBSCAN(HCA-DBSCAN) which uses a combination of distance-based aggregation by overlaying the data with customized grids. We use representative points to reduce the number of comparisons that need to be computed. Experimental results show that the proposed algorithm achieves a significant run time speedup of up to 58.27% when compared to other improvements that try to reduce the time complexity of theDBSCAN algorithm

研究の動機と目的

• DBSCAN の高い時間計算量、特に次元が高くなると O(n²) にまで悪化する問題に対処すること。
• クラスタリング精度を損なわずに、対比較距離計算の回数を削減すること。
• DBSCAN の強みを維持すること——任意形状のクラスタ検出、ノイズの処理、事前にクラスタ数を知る必要がないこと。
• さまざまな次元とサイズのデータに対して効果的でスケーラブルな、グリッドベースの高速化手法を開発すること。
• FastDBSCAN らしい既存の DBSCAN 最適化手法よりも顕著な実行時間の改善を達成すること。

提案手法

• アルゴリズムは、各ハイパーキューブの空間対角線が DBSCAN の ε パrameter（ε）に等しくなるように、データ上に仮想的なハイパーキューブグリッドを重ねる。これにより、各ハイパーキューブ内にある点同士はすべて互いに ε 距離以内に存在することが保証される。
• 各ハイパーキューブには、全点比較を最小限に抑えるために代表点（n 次元データの場合 3ⁿ − 1 個）を割り当てる。代表点が ε 条件を満たせば、そのハイパーキューブ内のすべての点が同じクラスタに統合される。
• 隣接するハイパーキューブを探索するための深さ優先走査戦略を採用し、j 層目の走査に失敗した場合に (j+1) 層目のハイパーキューブを同じ方向にチェックする、新規のレイヤー化機構を導入。この機構は非対角隣接ハイパーキューブに限定される。
• レイヤー化機構により、有効なクラスタ接続が見逃されないことが保証され、対角ハイパーキューブの点同士が ε 内に存在するためには、隣接するレイヤーに存在する必要があるという幾何学的性質を活用している。
• アルゴリズムはクラスタIDを維持し、ハイパーキューブ間で伝搬させることで、全点ペア間の重複する距離チェックを回避する。
• 事前処理として、ハイパーキューブへの割り当てとグリッドインデックスの高速化を目的に、主次元に沿ってデータをソートする。

実験結果

リサーチクエスチョン

• RQ1 グリッドベースのインデキシング方式は、精度を損なわずに DBSCAN における対比較距離計算の回数を顕著に削減できるか？
• RQ2 提案手法であるハイパーキューブベースの方法は、低次元および高次元データセットにおいて、既存の DBSCAN 変種と比較してどの程度の性能スケーリングを示すか？
• RQ3 代表点と段階的走査の組み合わせにより、計算オーバーヘッドをどの程度低減できるか、かつクラスタ接続性を維持できるか？
• RQ4 大幅な実行時間短縮を達成しながらも、DBSCAN と同等の 100% の精度を維持できるか？
• RQ5 高速化された計算下でも、DBSCAN が持つ任意形状のクラスタ検出能力を保持できるか？

主な発見

• Leaf データセットでは、FastDBSCAN より最大 58.27% の実行時間短縮を達成し、Vicon Action (Case 2) データセットでは 50.4% の改善を示した。
• 低次元データでは O(n log n) の時間計算量で実行され、高次元設定では O(n^{3/2}) にスケーリングされ、従来の DBSCAN の O(n²) 計算量を上回る。
• 380万点を超える PAMAP2 データセットでは、DBSCAN の 17,364.89 分から HCA-DBSCAN では 11,704.01 分に短縮され、32.6% の改善が得られた。
• すべてのデータセットで 100% のクラスタリング精度が維持され、元の DBSCAN の出力と同一のクラスタ同定がなされた。
• レイヤー化機構により、クラスタ接続の見逃しを効果的に防止し、少ない隣接チェック数でも正しさが保証された。
• 次元が高くなると隣接ハイパーキューブ数の増加に伴い性能劣化が観察されたが、アルゴリズムは依然として頑健でスケーラブルである。