[論文レビュー] FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance

Matteo Dell’Amico|arXiv (Cornell University)|Oct 16, 2019

Advanced Clustering Algorithms Research参考文献 30被引用数 7

ひとこと要約

FISHDBC は、特徴抽出を必要とせず、任意のデータ型およびユーザー定義の距離関数をサポートする、柔軟で段階的かつスケーラブルな階層的密度ベースのクラスタリングアルゴリズムである。動的スパニングツリーと HNSW を用いた近似近傍探索によりスケーラビリティを実現し、高次元空間やメモリ制限のある環境でも HDBSCAN* を上回る性能を発揮しながら、競争力のあるクラスタリング品質を維持し、階層的探索を可能にする。

ABSTRACT

FISHDBC is a flexible, incremental, scalable, and hierarchical density-based clustering algorithm. It is flexible because it empowers users to work on arbitrary data, skipping the feature extraction step that usually transforms raw data in numeric arrays letting users define an arbitrary distance function instead. It is incremental and scalable: it avoids the $\mathcal O(n^2)$ performance of other approaches in non-metric spaces and requires only lightweight computation to update the clustering when few items are added. It is hierarchical: it produces a "flat" clustering which can be expanded to a tree structure, so that users can group and/or divide clusters in sub- or super-clusters when data exploration requires so. It is density-based and approximates HDBSCAN*, an evolution of DBSCAN.

研究の動機と目的

• 数値特徴量を必要とする既存のクラスタリングアルゴリズム、固定された距離尺度、非メトリック空間における O(n²) の計算量の制限を克服すること。
• データ更新に伴う計算コストを低く抑えながら、ストリーミングデータ向けの段階的クラスタリングをサポートすること。
• 複数の粒度でクラスタを探索可能な階層的クラスタリング構造を提供すること。
• 数百万件のデータアイテムにスケーリングしながらも、高いクラスタリング品質を維持し、高次元またはスパースなデータを処理できること。
• ドメインスペシャリストが複雑で非メトリックな距離関数を定義しても、パフォーマンスへのペナルティが生じない柔軟なフレームワークを提供すること。

提案手法

• FISHDBC はスパニングツリー構造を用いてデータポイント間の接続性を維持し、効率的な近傍探索と段階的更新を可能にする。
• 近似最近傍探索のための階層的ナビゲータブル・スモールワールド（HNSW）グラフを採用し、近傍計算のコストを低減する。
• 近傍探索とモデルの維持を分離することで、実装の簡素化と効率的な段階的更新を実現する。
• スパニングツリーの拡張と HNSW を用いた近傍領域に基づく局所的密度推定を用いて、段階的にクラスタリングを構築する。
• フラットクラスタリングから出発し、密度閾値に基づいて再帰的にクラスタを統合または分割することで、階層的クラスタリング構造を導出する。
• HDBSCAN* のクラスタの密度差を検出可能でノイズをフィルタリングする能力を保持しつつ、効率的なインデキシングにより O(n²) の計算量を回避することで、HDBSCAN* を近似する。

実験結果

リサーチクエスチョン

• RQ1 任意の非メトリック距離関数を用いた場合でも、特徴抽出を必要とせず、O(n log n) のスケーラビリティを維持できるクラスタリングアルゴリズムは存在するか？
• RQ2 ストリーミング形式で新規データが到着する状況において、段階的クラスタリングの性能はバッチ処理法と比べてどの程度異なるか？
• RQ3 クラスタリング品質を損なわせることなく、階層的クラスタリング構造を効率的に構築・探索することは可能か？
• RQ4 高次元またはスパースなデータにおいて、一般的な近似近傍探索は、特化した高速化インデックスを上回る性能を発揮するか？
• RQ5 FISHDBC における正則化効果により、HDBSCAN* と比較してよりロバストまたは簡潔なクラスタリング結果が得られるか？

主な発見

• FISHDBC は数百万件のデータセットにもスケーリングでき、Blobs などの高次元で密なデータセットにおいて、HDBSCAN* よりも著しく低い実行時間を達成した。
• DW-NYTimes データセットでは、FISHDBC は正常にクラスタリングを完了したが、HDBSCAN* はメモリ不足のエラーにより失敗した。これは、FISHDBC の優れたメモリ効率性を示している。
• ユークリッド距離およびコサイン距離の両方において、FISHDBC は内部指標（AMI*、ARI*）で HDBSCAN* と同等のクラスタリング品質を達成した。標準偏差はそれぞれ 0.01 および 0.00 であった。
• Household データセットでは、FISHDBC は加速版 HDBSCAN* よりわずかに遅かったが、生成されたクラスタ数が少なく、探索的分析におけるデータ要約に適している可能性がある。
• FISHDBC の階層的出力により、フラットクラスタリングで多くのデータポイントがノイズとラベル付けされた場合でも、ほぼすべてのデータポイントがクラスタに割り当てられた。これは、データ探索の能力を向上させた。
• 高次元空間では、HNSW が次元の呪いに対する耐性を示すため、FISHDBC は HDBSCAN* を上回った。伝統的なインデックス構造は次元の増加に伴い性能が低下するが、FISHDBC はその影響を軽減した。