[論文レビュー] Unimodal clustering using isotonic regression: ISO-SPLIT

Jeremy F. Magland, Alex H. Barnett|arXiv (Cornell University)|Aug 20, 2015

Bayesian Methods and Mixture Models参考文献 24被引用数 12

ひとこと要約

ISO-SPLIT は、密度の低い超平面によって分離された単峰性クラスタを検出するために等単調回帰を用いる非パrametricでパrameterフリーのクラスタリング手法である。シミュレーションにおいて、k-means++、DBSCAN、および混合ガウスモデルを上回る性能を発揮し、特に分離度の高い単峰性クラスタを有する低次元・高サンプルサイズのデータセットで顕著である。

ABSTRACT

A limitation of many clustering algorithms is the requirement to tune adjustable parameters for each application or even for each dataset. Some techniques require an \emph{a priori} estimate of the number of clusters while density-based techniques usually require a scale parameter. Other parametric methods, such as mixture modeling, make assumptions about the underlying cluster distributions. Here we introduce a non-parametric clustering method that does not involve tunable parameters and only assumes that clusters are unimodal, in the sense that they have a single point of maximal density when projected onto any line, and that clusters are separated from one another by a separating hyperplane of relatively lower density. The technique uses a non-parametric variant of Hartigan's dip statistic using isotonic regression as the kernel operation repeated at every iteration. We compare the method against k-means++, DBSCAN, and Gaussian mixture methods and show in simulations that it performs better than these standard methods in many situations. The algorithm is suited for low-dimensional datasets with a large number of observations, and was motivated by the problem of "spike sorting" in neural electrical recordings. Source code is freely available.

研究の動機と目的

• k-means、DBSCAN、混合ガウスモデルなど、多くのクラスタリング手法に共通する調整可能なパrameterのチューニングの課題に対処すること。
• クラスタ数やスケールパrameterの事前知識を必要としない非パrametricなクラスタリング手法の開発。
• 任意の直線に沿って射影した際の密度に単一のピーク（単峰性）を示し、密度の低い超平面によってクラスタが分離されることを活用すること。
• スパイクソーティングのような神経データの応用において、クラスタ構造が複雑であるが単峰性である場合に適した完全自動化されたクラスタリングソリューションの構築。
• 閾値や初期クラスタ数の選択に対して安定であることを示すことで、パrameter選択への感受性の低さを保証すること。

提案手法

• 等単調回帰に基づくハーティガンのディップ統計量の非パrametric版を用いて、クラスタ射影の単峰性を検定する。
• 上昇・下降の等単調回帰を用い、平均二乗誤差を最小化するように密度射影の最適な転換点を特定する。
• 単峰性が棄却された箇所における分離超平面に沿って、反復的にクラスタ割り当てを改善する。
• ユーザーが指定する $ K_{\text{initial}} $ で初期化するが、$ K_{\text{initial}} $ が十分に大きい限り、結果が安定することを示す。
• 単峰性の検定に閾値 $ \tau_n = \alpha / \sqrt{n} $ を用い、$ \alpha $ は妥当な範囲から選択する。
• Gaussianクラスタを重複なしで配置できるようにするため、Lin–Hanアルゴリズムを用いて制御された合成データセットを生成する。

実験結果

リサーチクエスチョン

• RQ1 調整パrameterを一切必要としないクラスタリング手法を開発でき、単峰性クラスタを正確に同定できるだろうか？
• RQ2 ISO-SPLIT は、多様な合成データセットにおいて、k-means++、DBSCAN、混合ガウスモデルと比較して、クラスタリング精度でどの程度優れているか？
• RQ3 ISO-SPLIT は、閾値パramータ $ \alpha $ や初期クラスタ数 $ K_{\text{initial}} $ の選択に対してどの程度感受性を示すか？
• RQ4 等単調回帰に基づく単峰性検定は、低次元・高サンプルサイズのデータにおいて、クラスタ境界を信頼性高く検出できるだろうか？
• RQ5 クラスタの密度、サイズ、非対称性、方向性が異なる場合でも、アルゴリズムは高い正確性を維持できるか？

主な発見

• シミュレーション2において、$ \alpha $ が 1.2 から 2.0 の間であれば、6クラスタの状況で 89–91% の正確性を達成し、この閾値パramータに対して感受性が低いことが示された。
• $ K_{\text{initial}} \geq 6 $ の場合、正確性は 87% を超え、実行時間もわずかに増加するにとどまり、初期クラスタ数に対して安定であることが示された。
• 重複するか非凸的なクラスタを含む状況において、k-means++ や DBSCAN よりも優れた性能を発揮した。特に単峰性で密度の低い領域によって分離されたクラスタに対して顕著であった。
• 混合ガウスモデルは非ガウス型のクラスタ形状に対して苦戦したが、ISO-SPLIT は非パrametricで密度に基づくアプローチにより成功した。
• 実行時間は $ K_{\text{initial}} $ に対して2次的に増加したが、通常の値（例：$ K_{\text{initial}} = 24 $ の場合約 0.13 秒）では効率的であり、大規模データセットへの適用を可能とした。
• スパイクソーティング応用においても妥当性が確認され、複雑な低次元クラスタ構造を有する実世界の神経データに適していることが裏付けられた。