[論文レビュー] How I learned to stop worrying and love the curse of dimensionality: an appraisal of cluster validation in high-dimensional spaces

Brian A. Powell|arXiv (Cornell University)|Jan 13, 2022

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本論文は、高次元データにおけるクラスターバリデーション指標に及ぼす次元の呪い、特に距離集中の影響を調査する。合成データセットを用いた24の一般的なユークリッドベースの妥当性指標の評価において、次元が増加しても大部分の指標が真のクラスタ構造に対する感度を安定的または向上させることを確認した。これは、高次元の課題が存在する中でもクラスターバリデーションが信頼できるままであることを示唆している。

ABSTRACT

The failure of the Euclidean norm to reliably distinguish between nearby and distant points in high dimensional space is well-known. This phenomenon of distance concentration manifests in a variety of data distributions, with iid or correlated features, including centrally-distributed and clustered data. Unsupervised learning based on Euclidean nearest-neighbors and more general proximity-oriented data mining tasks like clustering, might therefore be adversely affected by distance concentration for high-dimensional applications. While considerable work has been done developing clustering algorithms with reliable high-dimensional performance, the problem of cluster validation--of determining the natural number of clusters in a dataset--has not been carefully examined in high-dimensional problems. In this work we investigate how the sensitivities of common Euclidean norm-based cluster validity indices scale with dimension for a variety of synthetic data schemes, including well-separated and noisy clusters, and find that the overwhelming majority of indices have improved or stable sensitivity in high dimensions. The curse of dimensionality is therefore dispelled for this class of fairly generic data schemes.

研究の動機と目的

• 高次元空間における距離集中が一般的なクラスターバリデーション指標の性能に与える影響を評価すること。
• 次元が増加しても、従来のユークリッドベースの妥当性指標が真のクラスタ構造に対して感度を保ち続けるかどうかを特定すること。
• 高次元条件下での、Davies-Bouldin、シルエット、Xie-Beni といった広く使われる指標の頑健性を評価すること。
• 典型的なデータ分布に対して、クラスターバリデーションが次元の呪いによって本質的に損なわれないという実証的証拠を提供すること。

提案手法

• 本研究では、クラスタ分離度とノイズレベルを変化させた複数の合成データスキームを用い、24のユークリッドノルムベースのクラスターバリデーション指標を評価した。
• 合成データセットには、一様分布、ガウス分布、および20および50のクラスタを有するクラスタ構造を持つデータが含まれており、次元は2から1000まで変化させた。
• 各データセットおよび次元に対して、k-meansを用いてクラスタリングを実行し、k値の範囲でバリデーション指標を計算した。
• 各指標の感度は、真のクラスタ数（すなわち正しいkでのピーク）をどれだけうまく特定できるかで測定され、次元の増加に伴う性能の変化を追跡した。
• 主な分析対象指標には、Davies-Bouldin、シルエット、Xie-Beni、Calinski-Harabasz、Wemmert-Gançarski などがある。
• 統計的分析により、次元を越えた指標の挙動を比較し、真のkのピークの安定性と検出可能性に注目した。

実験結果

リサーチクエスチョン

• RQ1 距離集中が生じる状況下で、一般的なクラスターバリデーション指標は次元が増加するにつれてどのように反応するか？
• RQ2 ユークリッドベースの指標は、高次元データにおいて真のクラスタ構造に対する感度を失うのか？
• RQ3 次元が100を超えて増加する際、どの妥当性指標が安定的または改善された性能を示すか？
• RQ4 ノイズやクラスタの重なりがある場合、高次元におけるバリデーション指標の頑健性はどのように影響を受けるか？
• RQ5 次元の呪いは、高次元空間における信頼性のあるクラスターバリデーションの根本的障壁となるのか？

主な発見

• クラスターバリデーション指標の大部分——24中20——が次元が増加するにつれて真のクラスタ数に対する感度が安定的または向上した。
• シルエット、Xie-Beni、Calinski-Harabasz などの指標は、全テスト次元で強力な性能を示し、ピーク検出が一貫していた。
• 距離集中が指標の性能を一様に悪化させるわけではない。むしろ、相対的な内部および外部クラスタ分散に依存する多くの指標が、頑健性を示した。
• ノイズや重複するクラスタ構造が存在する状況でも、大多数の指標が真のkでの明確なピークを維持しており、高次元ノイズに対して耐性があることが示された。
• 本研究では、次元の呪いが、クラスタや相関のある特徴を有する典型的なデータ分布に対して、クラスターバリデーションを本質的に損なわないという証拠が得られなかった。
• S_Dbw および Wemmert-Gançarski の指標は特に安定性を示し、全テスト次元およびデータタイプで一貫した性能を示した。