[論文レビュー] Efficient Parameter-free Clustering Using First Neighbor Relations

M. Saquib Sarfraz, Vivek Sharma+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Clustering Algorithms Research参考文献 53被引用数 16

ひとこと要約

この論文では、距離閾値、クラスタ数、ハイパーパrameterを一切必要としない完全にパラメータフリーなクラスタリング手法FINCHを提案する。最初の近傍関係に基づいて自然なグループを発見する。再帰的なクラスタのマージにより、810万件のサンプルを含むデータセットにおいても、O(N log N)の低計算量を維持しながら、既存手法を上回る高い正確性とスケーラビリティを達成する。

ABSTRACT

We present a new clustering method in the form of a single clustering equation that is able to directly discover groupings in the data. The main proposition is that the first neighbor of each sample is all one needs to discover large chains and finding the groups in the data. In contrast to most existing clustering algorithms our method does not require any hyper-parameters, distance thresholds and/or the need to specify the number of clusters. The proposed algorithm belongs to the family of hierarchical agglomerative methods. The technique has a very low computational overhead, is easily scalable and applicable to large practical problems. Evaluation on well known datasets from different domains ranging between 1077 and 8.1 million samples shows substantial performance gains when compared to the existing clustering techniques.

研究の動機と目的

• 距離閾値やクラスタ数といったユーザー定義ハイパーパrameterを一切必要としないクラスタリングアルゴリズムの開発。
• 特にスケーラビリティに制限のある既存のクラスタリング手法（スペクトルクラスタリングや階層的凝集クラスタリング）を、大規模データセットに適用可能にする。
• 最初の近傍情報のみを用いて、多様なデータドメインで自然で高純度のクラスタを発見すること。
• 数百万件のサンプルを扱うリアルワールドの応用に適した、効率的で高速かつ低オーバーヘッドなクラスタリングを実現すること。
• 理論的裏付けのある再帰的マージ機構を提供し、データセットサイズにかかわらず急速に収束すること。

提案手法

• アルゴリズムは、各データポイントの最初の近傍点を用いて初期の連結されたサンプルの鎖を形成する、単一のクラスタリング方程式に基づく。
• 各サンプルがその最初の近傍点に接続される再帰的凝集マージングプロセスを採用し、反復的なマージによってクラスタを形成する。
• 完全なペアワイズ距離行列の計算を回避することで、計算量をO(N log N)に、メモリ使用量をO(N)に削減する。
• クラスタのマージは最初の近傍関係にのみ従うため、類似度の閾値や事前に定義されたクラスタ数の必要がなくなる。
• 鎖の形成における指数的収束のおかげで、データセットサイズにかかわらず、わずか4〜10ステップの固定回数で収束する。
• データの内在的構造を活用し、最初の近傍の長鎖を検出することで、自然に元のクラスタ境界を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 距離閾値やクラスタ数といったハイパーパrameterを一切含まずにクラスタリングを達成できるか？
• RQ2 最初の近傍関係のみで、多様なデータドメインにおいて信頼性高く自然なグループを明らかにできるか？
• RQ3 数百万件のサンプルを含むデータセットにおいても、効率的にスケーリングされ、高純度と高正確性を維持できるクラスタリングアルゴリズムは可能か？
• RQ4 最初の近傍鎖に基づく再帰的マージングは、従来の階層的手法と比較して、より高速な収束とより優れたクラスタ品質をもたらすか？
• RQ5 特に高次元特徴空間において、ベースライン手法が失敗する状況でも、明確に分離されたクラスタを回復できるか？

主な発見

• FINCHは、ラベルやハイパーパrameterを使用しないにもかかわらず、MNIST_10kおよびMNIST_70kデータセットで99％以上の正確性を達成し、CNNモデルの分類正確性と同等の性能を示した。
• 最大810万件のサンプルを含むデータセットにおいて、FINCHはわずか5〜6ステップで収束し、各ステップで有効なパーティションが得られ、高いクラスタ純度を維持した。
• 1077件のサンプルを含むデータセットでは、ステップ4で真の8クラスタ構造を同定し、1077から3にまでクラスタ数を削減しながらも高い正確性を達成した。
• FINCHはO(N)のメモリとO(N log N)の時間計算量で動作し、スペクトルクラスタリング（O(N³)）や階層的凝集クラスタリング（O(N² log N)）を著しく上回った。
• 画像ピクセル、生物学的測定値、テキスト特徴量、CNN埋め込みなど、多様な分野で安定した性能を示し、ドメインに依存しない強靭性を示した。
• 各点が常に最初の近傍点に接続されるため、単一クラスタ（サイズ1）は形成されず、最小クラスタサイズが2に固定される。