[論文レビュー] Faster DBSCAN via subsampled similarity queries

Heinrich Jiang, Jennifer Jang+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Clustering Algorithms Research参考文献 55被引用数 9

ひとこと要約

本稿では、ε近傍グラフのエッジを部分的にサンプリングすることでクラスタ構造を保持しつつ、DBSCANの高速化を図るSNG-DBSCANを提案する。エッジのO(log n / n)の部分サンプリングに加え、類似度クエリに依存するため、O(n log n)の実行時間と、大規模データセットで最大200倍の高速化、250倍のメモリ使用量削減を達成し、理論的整合性の保証のもとで競争力あるクラスタリング品質を維持する。

ABSTRACT

DBSCAN is a popular density-based clustering algorithm. It computes the $ε$-neighborhood graph of a dataset and uses the connected components of the high-degree nodes to decide the clusters. However, the full neighborhood graph may be too costly to compute with a worst-case complexity of $O(n^2)$. In this paper, we propose a simple variant called SNG-DBSCAN, which clusters based on a subsampled $ε$-neighborhood graph, only requires access to similarity queries for pairs of points and in particular avoids any complex data structures which need the embeddings of the data points themselves. The runtime of the procedure is $O(sn^2)$, where $s$ is the sampling rate. We show under some natural theoretical assumptions that $s \approx \log n/n$ is sufficient for statistical cluster recovery guarantees leading to an $O(n\log n)$ complexity. We provide an extensive experimental analysis showing that on large datasets, one can subsample as little as $0.1\%$ of the neighborhood graph, leading to as much as over 200x speedup and 250x reduction in RAM consumption compared to scikit-learn's implementation of DBSCAN, while still maintaining competitive clustering performance.

研究の動機と目的

• DBSCANの計算コストがデータサイズに比例して2乗的に増加する問題に対処すること。これは、全近傍グラフの計算に起因する。
• 標準DBSCANがメモリや実行時間の制約により失敗する大規模データセットにおいても、スケーラブルな密度ベースのクラスタリングを可能にすること。
• KDツリーのような空間分割データ構造を避けて、特定の距離測度に限定されない任意の類似度関数と互換性を持つ手法を開発すること。
• データの密度とクラスタの分離に関する自然な仮定のもとで、クラスタ回復に関する理論的保証を提供すること。
• 部分サンプリングがたとえ0.1%程度であっても、競争力あるクラスタリング性能を維持することを実験的に検証すること。

提案手法

• SNG-DBSCANは、全近傍グラフから一様にエッジをサンプリングすることで、部分的にサンプリングされたε近傍グラフを構築する。
• エッジの含むかどうかは、ランダムに選ばれた点ペア間の類似度クエリに依存し、距離がε以下であればエッジを含める（すなわち、距離 ≤ ε かどうかを判定）。
• Karger（1995）の理論的結果に従い、高次数のノード（コアポイント）の連結成分が、O(log n / n)のエッジサンプリングで高い確率で保持されることを示している。
• アルゴリズムは部分サンプリングされたグラフを処理し、連結成分を抽出することで最終的なクラスタを形成する。
• KDツリーのような空間分割データ構造を避けるため、任意の類似度関数と互換性がある。
• 全体の計算量は、sをサンプリング率としてO(sn²)である。理論的仮定のもとで、s ≈ log n / nとすると、総実行時間はO(n log n)となる。

実験結果

リサーチクエスチョン

• RQ1 部分サンプリングされたε近傍グラフが、DBSCANクラスタリングに必要なコアポイントの連結成分を保持できるか？
• RQ2 統計的整合性と正確なクラスタ回復を保証するための最小サンプリング率sは何か？
• RQ3 部分サンプリングアプローチは、実世界のデータセットにおいても、サブ2乗時間の実行時間と競争力あるクラスタリング性能を達成できるか？
• RQ4 標準DBSCANおよびDBSCAN++のような最適化された変種と比較して、SNG-DBSCANは速度とメモリ使用量で優れているか？
• RQ5 本手法は、低次元および高次元の両方のデータセットにおいて、効果的であるか？

主な発見

• 最大100万点のデータセットにおいて、scikit-learnのDBSCAN実装と比較して、SNG-DBSCANは最大200倍の高速化と250倍のメモリ使用量削減を達成した。
• 近傍グラフの0.1%程度の部分サンプリングでも、競争力あるクラスタリング性能が維持され、ほとんどのデータセットでARIおよびAMIスコアが完全なDBSCANの10%以内に収まった。
• SNG-DBSCANは、テストされた70%の指標でDBSCAN++を上回り、特にオーストラリアのような高次元データでは、コアポイントの選択が不十分なためDBSCAN++が失敗するが、SNG-DBSCANは依然として有効であった。
• 理論的分析により、s ≈ log n / nのエッジサンプリングが、標準的な密度仮定のもとでコアポイントの連結成分を高い確率で保持することが示された。
• 小規模なデータセットでは、1%～30%のエッジサンプリングで、最適チューニングのもとで、著しい実行時間の短縮が達成され、競争力あるクラスタリングスコアを維持した。
• 大きなε値では、標準DBSCANはメモリの枯渇により失敗するが、SNG-DBSCANは依然として実行可能であり、従来では処理不可能だったデータセットのクラスタリングを可能にした。