[論文レビュー] A Comprehensive Approach to Mode Clustering

Yen‐Chi Chen, Christopher R. Genovese+1 more|arXiv (Cornell University)|Jun 6, 2014

Anomaly Detection Techniques and Applications参考文献 49被引用数 4

ひとこと要約

本稿では、ソフトクラスタ割り当て、クラスタ接続性測定、バンド幅選択、小クラスタのノイズ除去、多次元尺度構成法による高次元可視化を導入することで、モードクラスタリングを強化する包括的なフレームワークを提示する。この手法は正則性条件下でモーダル一貫性とモード位置の収束を達成し、多次元データにおける非パラメトリッククラスタリングの堅牢で理論的裏付けのある解決策を提供する。

ABSTRACT

Mode clustering is a nonparametric method for clustering that defines clusters using the basins of attraction of a density estimator's modes. We provide several enhancements to mode clustering: (i) a soft variant of cluster assignment, (ii) a measure of connectivity between clusters, (iii) a technique for choosing the bandwidth, (iv) a method for denoising small clusters, and (v) an approach to visualizing the clusters. Combining all these enhancements gives us a complete procedure for clustering in multivariate problems. We also compare mode clustering to other clustering methods in several examples

研究の動機と目的

• 従来のモードクラスタリングにおける限界、例えばハードクラスタ割り当てや不確実性の定量化の欠如に対処する。
• モードクラスタリングのためのカーネル密度推定におけるバンド幅選択のための原理的アプローチを開発する。
• 高次元データにおける偽の小クラスタ（クラスタリングノイズ）の問題を、ノイズ除去技術によって軽減する。
• クラスタ間の関係性と安定性を評価するためのクラスタ間接続性測定を導入する。
• エッジ重み付きグラフを用いた多次元尺度構成法（MDS）により、高次元クラスタの可視化を可能にする。

提案手法

• 勾配上昇パスに基づき、データポイントがモードの吸引域に属する確率を用いたソフトクラスタ割り当て手法を提案する。
• クラスタ間の最小密度に依存するパスに基づく接続性測定を定義し、カーネル密度推定を用いて推定する。
• モード数とそれらの分離度に関連する基準を最小化するようにバンド幅選択ルールを導入し、プラグインアプローチを用いる。
• 十分に接続されており密度が低い小クラスタが、より大きなクラスタに統合されるように、ノイズ除去手順を実装する。これにより、高次元におけるノイズが低減される。
• クラスタ接続性を2次元／3次元空間に投影する可視化技術を開発し、多次元尺度構成法（MDS）を用い、エッジの重みをクラスタ間接続性の強度で反映する。
• 計算効率を確保するため、平均シフトアルゴリズムを用いて吸引域を計算し、カーネル密度推定器からモードを推定する。

実験結果

リサーチクエスチョン

• RQ1 不確実性を定量化するためのソフトクラスタ割り当ては、どのように定義できるか？
• RQ2 クラスタの分離度と密度構造を反映する、信頼性の高いクラスタ間接続性測定とは何か？
• RQ3 モードクラスタリング性能を最適化するために、カーネル密度推定におけるバンド幅を自動的に選択する方法は何か？
• RQ4 高次元モードクラスタリングにおける偽の小クラスタの数を効果的に減らす戦略は何か？
• RQ5 解釈と分析を支援するために、高次元データのクラスタを意味的に可視化する方法は何か？

主な発見

• 提案手法はモーダル一貫性を達成する：推定されたモード数が真のモード数に、$ \text{Prob}(\text{estimated modes} \neq \text{true modes}) \to 0 $ の指数的収束率で収束する。この収束は $ nh^{d+4} $ に依存する。
• 推定されたモードの位置は、真のモードの位置に $ O(h^2) + O_P\big(\big(\frac{1}{nh^{d+2}}\big)^{1/2}\big) $ のレートで収束し、正確なモード局所化を保証する。
• バンド幅選択ルールはバイアスとバイアスのバランスを適切にとるため、過学習を低減し、クラスタの安定性を向上させる。
• ノイズ除去手順により、高次元設定下での極めて小さな孤立クラスタの数が顕著に減少し、解釈性が向上する。
• 可視化手法は、複雑なクラスタ関係性を2次元／3次元空間に成功裏に投影し、接続性パターンを保持する。オリーブオイルデータセット（$ d=8 $、7クラスタ、エッジ重み付き接続）の例でもその有効性が確認された。
• 実験的比較により、提案手法は標準的なモードクラスタリングに比べ、堅牢性、解釈性、高次元ノイズの取り扱いにおいて優れていることが示された。