[論文レビュー] Superclustering by finding statistically significant separable groups of optimal gaussian clusters

O. I. Berngardt|arXiv (Cornell University)|Sep 5, 2023

Information Systems and Technology ApplicationsBusiness, Management and Accounting被引用数 3

ひとこと要約

本稿では、まずベイジアン情報量基準（BIC）を用いて最適なガウス混合クラスタ数を特定し、その後、マハラノビス距離に基づくアプローチと動的に調整されたεパラメータを備えたDBSCANを用いて統計的に分離可能なスーパoclusterにクラスタをグループ化する、新規なスーパoclusteringアルゴリズムを提案する。この手法は、統計的有意性を保証する行列品質基準を最大化することで、合成データセット上で高いランダムインデックススコア（最大0.999）を達成し、ソフトクラスタリングおよび新規データへの推論をサポートする。

ABSTRACT

The paper presents the algorithm for clustering a dataset by grouping the optimal, from the point of view of the BIC criterion, number of Gaussian clusters into the optimal, from the point of view of their statistical separability, superclusters. The algorithm consists of three stages: representation of the dataset as a mixture of Gaussian distributions - clusters, which number is determined based on the minimum of the BIC criterion; using the Mahalanobis distance, to estimate the distances between the clusters and cluster sizes; combining the resulting clusters into superclusters using the DBSCAN method by finding its hyperparameter (maximum distance) providing maximum value of introduced matrix quality criterion at maximum number of superclusters. The matrix quality criterion corresponds to the proportion of statistically significant separated superclusters among all found superclusters. The algorithm has only one hyperparameter - statistical significance level, and automatically detects optimal number and shape of superclusters based of statistical hypothesis testing approach. The algorithm demonstrates a good results on test datasets in noise and noiseless situations. An essential advantage of the algorithm is its ability to predict correct supercluster for new data based on already trained clusterer and perform soft (fuzzy) clustering. The disadvantages of the algorithm are: its low speed and stochastic nature of the final clustering. It requires a sufficiently large dataset for clustering, which is typical for many statistical methods.

研究の動機と目的

• 教師なしクラスタリングの課題に、統計的有意性に基づいてエキスパートラベルのクラスタ構造を近似する手法を提供すること。
• モデルベース（ガウス混合）と密度ベース（DBSCAN）のアプローチを統合したクラスタリングフレームワークを構築し、意味のある統計的に分離可能なスーパoclusterを検出すること。
• 新規データのクラスタメンバーシップを予測可能とし、ハードパーティショニングを超えた実用的利便性を高めるためのソフト（ファジー）クラスタリングを可能とすること。
• 仮説検定を用いて、任意のハイパーパrameterに依存しない最適なスーパoclusterの数と形状を自動で特定すること。

提案手法

• アルゴリズムはまず、ベイジアン情報量基準（BIC）を最小化するように選択された成分数を持つガウス混合モデル（GMM）でデータをモデル化する。
• GMMの成分間のマハラノビス距離を計算し、統計的分離度とクラスタサイズを推定することで、頑健なクラスタ間距離測定を可能にする。
• ε（最大距離）ハイパーパramータについて、小さい値から大きい値へと順次探索するDBSCANをGMMの成分に適用する。
• 新規に導入された行列品質基準（MC）は、検出されたすべてのスーパoclusterのうち、統計的に有意なスーパoclusterの割合として定義され、最適なεを選択するために最大化される。
• 各スーパoclusterの分離可能性を評価するために、ユーザーが指定した有意水準（α = 0.1）で統計的仮説検定が実施される。
• 最終的な出力は、各スーパoclusterがガウス混合として表現されたものであり、ソフトクラスタリング確率と新規データへの推論をサポートする。

Figure 1: Clustering points into BIC-optimal mixture of Gaussian distributions. On the left is a separation by the number of clusters $N_{BIC}$ corresponding to the BIC minimum. The background corresponds to decision areas, all points of which the algorithm will refer to given cluster. Colors corres

実験結果

リサーチクエスチョン

• RQ1 モデルベースと密度ベースのクラスタリングを統合し、統計的有意性検定を組み合わせることで、クラスタ数と形状の最適なスーパoclusterを自動で検出できるか。
• RQ2 ガウス混合モデルと統計的分離性に基づくスーパoclustering手法は、ノイズあり・なしの両方の合成データセットにおいて、標準的なクラスタリングアルゴリズムをどれほど上回るか。
• RQ3 訓練済みモデルのみを用いて、ソフトクラスタリングと新規データへの一般化がどの程度可能か。
• RQ4 有意水準αの選択が、得られるスーパoclusteringの安定性と品質にどのように影響するか。

主な発見

• ノイズのない『Small blobs』データセットでは、ランダムインデックス（RI）が0.999に達し、エキスパートラベルとほぼ完全に一致した。
• 『3 horseshoes』データセットでは、RIが0.987に達し、非凸形状の複雑なクラスタ構造に対しても優れた性能を示した。
• ノイズがある状況、例えば『2 snakes』データセットでは、RIが0.72～0.83を維持し、同じ範囲でアンサンブルベースライン（0.65～0.85）を上回った。
• すべてのノイズなしケースにおいて、行列品質基準（MC）は最大値1.0に達し、検出されたすべてのスーパoclusterが統計的に有意であることを示した。
• 本手法は、訓練済みモデルを用いて新規データのクラスタメンバーシップを予測可能であり、ソフトクラスタリングを実現した。これは、多くの教師なし手法に比べて顕著な利点である。
• 強力な性能を発揮する一方で、GMMフィッティングにおけるEM初期化の確率的性質により、計算が遅く、実行ごとに結果にばらつきが生じる傾向がある。

Figure 2: A-D) Distributions of points within clusters (different colors correspond to different clusters) and distributions of Mahalanobis distances corresponding to them (orange and green correspond to distributions of intercluster distances $p_{ij},p_{ji}$ , red and blue correspond to cluster siz