[論文レビュー] Selective Clustering Annotated using Modes of Projections

Evan Greene, Greg Finak+1 more|arXiv (Cornell University)|Jul 26, 2018

Bayesian Methods and Mixture Models参考文献 58被引用数 5

ひとこと要約

本稿では、次元の呪いを回避するために1次元の密度推定に依存することで、高次元データにおける一様な投影の検出によってクラスタを特定する非パラメトリックなクラスタリング手法である、選択的クラスタリング（SCAMP）を提案する。SCAMPは、多様なシミュレーション状況、特に高次元、ノイズが多い、非ガウス分布のデータに対しても頑健なクラスタリング性能を発揮し、正規分布からの逸脱がある場合でも高い正確性を維持する。

ABSTRACT

Selective clustering annotated using modes of projections (SCAMP) is a new clustering algorithm for data in $\mathbb{R}^p$. SCAMP is motivated from the point of view of non-parametric mixture modeling. Rather than maximizing a classification likelihood to determine cluster assignments, SCAMP casts clustering as a search and selection problem. One consequence of this problem formulation is that the number of clusters is $ extbf{not}$ a SCAMP tuning parameter. The search phase of SCAMP consists of finding sub-collections of the data matrix, called candidate clusters, that obey shape constraints along each coordinate projection. An extension of the dip test of Hartigan and Hartigan (1985) is developed to assist the search. Selection occurs by scoring each candidate cluster with a preference function that quantifies prior belief about the mixture composition. Clustering proceeds by selecting candidates to maximize their total preference score. SCAMP concludes by annotating each selected cluster with labels that describe how cluster-level statistics compare to certain dataset-level quantities. SCAMP can be run multiple times on a single data matrix. Comparison of annotations obtained across iterations provides a measure of clustering uncertainty. Simulation studies and applications to real data are considered. A C++ implementation with R interface is $\href{https://github.com/RGLab/scamp}{available\ online}$.

研究の動機と目的

• パrametric仮定に依存せずに、非ガウス分布や高次元データに対して頑健なクラスタリングアルゴリズムの開発を目的とする。
• 非パラメトリックなモーダルクラスタリングにおける次元の呪いを解消するため、多次元密度推定の代わりに1次元密度推定を用いる。
• 重なりや歪度のある成分分布のような複雑なデータ構造において、一様な投影を活用することでクラスタリングの正確性を向上させる。
• 既存の混合モデルや密度ベースのクラスタリング手法に対する、スケーラブルで計算的に効率的な代替手法を提供すること。

提案手法

• SCAMPは、各次元に沿ったデータポイントの投影における一様な分布（一様な周辺分布）を特定することでクラスタを検出する。各クラスタは、それぞれの次元に沿って一様な分布を示すと仮定する。
• アルゴリズムは、多次元密度推定を避けるために、1次元スライスにおける局所的なモードを投影に基づいて推定する。
• データのクラスタ分離性を向上させるために、座標を4つの関数（平方根、指数関数、平方、恒等関数）を用いて逐次変換する。
• 複数の投影において最も安定的で有意義なモードを選択し、選択的クラスタリング戦略を用いてデータポイントをクラスタに割り当てる。
• 本手法は、成分分布が各次元に沿って一様であることを制約するコプーラベースの混合モデル（1.1）に裏付けられている。
• EMに基づくパrameter推定を避けることで、モデルの誤指定に対して頑健である。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなクラスタリング手法は、次元の呪いに苦しまずに高次元データにおいて高い正確性を達成できるか？
• RQ2 成分分布が正規分布から逸脱したり、歪度や重たい尾を持つ場合、SCAMPの性能はどの程度保たれるか？
• RQ3 座標変換を施すことで、非正規分布の設定においてSCAMPのクラスタ検出性能がどの程度向上するか？
• RQ4 既存の混合モデルや密度ベースのクラスタリング手法と比較して、SCAMPの頑健性と計算効率はどの程度か？
• RQ5 ノイズ成分や変動するサンプルサイズが、SCAMPのクラスタリング性能に与える影響は何か？

主な発見

• SCAMPは、すべてのシミュレーション状況において高いクラスタリング正確性を達成した。特に20次元の高次元環境や30,000件のサンプルサイズの設定でも同様に高い性能を示した。
• シナリオ1（3,000件の観測）では、SCAMPは、成分の平均が{0,6}または{0,3,6}から抽出されても、17個の明確なクラスタを高精度に特定した。
• シナリオ2（30,000件の観測）では、バランスの取れたクラスタサイズを維持し、自由度5のスチューデントのt分布に従う成分に対しても頑健な性能を示した。
• 多変量t分布に従う30,000件のノイズ成分を含めた場合でも、SCAMPのクラスタリング正確性は劣化せず、ノイズはいかなるクラスタにも割り当てられなかった。
• 座標変換（例：平方根、指数関数）により、非正規分布の設定においてクラスタ検出性能が顕著に向上した。特に歪度や重たい尾を持つ分布の設定で顕著であった。
• シナリオ3では、56個の成分を含み、サンプルサイズが50から3,950の間で変動する複雑な構造でも、SCAMPは微細なクラスタ構造を的確に解明した。これは、強力なスケーラビリティと小さなクラスタに対する感受性を示している。