[論文レビュー] High-Dimensional Data Clustering

Charles Bouveyron, Stéphane Girard+1 more|Apr 4, 2006

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

この論文は、次元の呪いに対処するため、部分空間固有の共分散構造を備えたガウス・ミックスチャネル・モデルを用いた、モデルベースのクラスタリング手法High-Dimensional Data Clustering (HDDC)を提案する。EMアルゴリズムとBIC基準を用いて各クラスタの内在的部分空間と次元を推定することで、過学習を低減し、実画像データセットを含む高次元データにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Clustering in high-dimensional spaces is a difficult problem which is recurrent in many domains, for example in image analysis. The difficulty is due to the fact that high-dimensional data usually live in different low-dimensional subspaces hidden in the original space. This paper presents a family of Gaussian mixture models designed for high-dimensional data which combine the ideas of dimension reduction and parsimonious modeling. These models give rise to a clustering method based on the Expectation-Maximization algorithm which is called High-Dimensional Data Clustering (HDDC). In order to correctly fit the data, HDDC estimates the specific subspace and the intrinsic dimension of each group. Our experiments on artificial and real datasets show that HDDC outperforms existing methods for clustering high-dimensional data

研究の動機と目的

• 高次元データのクラスタリングにおける次元の呪いに対処し、従来手法がパラメータ過多により過学習を起こすのを防ぐ。
• 高次元特徴空間内に存在する異なる低次元部分空間に隠されたクラスタを特定できる耐性のあるクラスタリング手法を開発する。
• 各クラスタの内在次元と特定部分空間を、効率的なガウス・ミックスチャネル・モデルでモデル化することで、パラメータ推定の負担を軽減する。
• 部分空間固有のパrameter化により、特異的または悪条件な共分散行列を回避することで、数値的安定性と計算効率を確保する。
• 人工的および実世界のデータセット、特に画像解析において、HDDCの性能を標準クラスタリング手法と比較する。

提案手法

• HDDCは、各クラスタが個別の低次元部分空間でモデル化されるガウス・ミックスチャネルの族を採用し、推定すべきパラメータ数を削減する。
• パラメータ推定には期待最大化（EM）アルゴリズムを用い、部分空間と内在次元はBIC基準およびCattellのスクリーテストにより決定する。
• 共分散行列は固有値分解を用いて再パラメータ化され、部分空間内（a_i）および直交補空間（b_i）方向の固有値が別々に推定される。
• 部分空間基底Qは、(B - A)の固有ベクトルを求める方法で最適化される。ここでAとBは、クラスタ内分散行列の重み付き和である。
• パラメータを固定すること（例：全クラスタに共通のaまたはb）により、異なるモデルバージョンを定義し、効率的なモデル化と耐性の向上を実現する。
• 各クラスタの内在次元dは、BICを用いてモデルの適合度と複雑さのバランスを取ることで、自動的に決定される。

実験結果

リサーチクエスチョン

• RQ1 クラスタが異なる低次元部分空間に存在する高次元データにおいて、モデルベースのクラスタリング手法が効果的にクラスタを同定できるか。
• RQ2 高次元設定において、各クラスタの内在次元と部分空間構造を信頼性高く推定する方法は何か。
• RQ3 小規模なサンプルサイズ（次元数に比べて）の高次元データセットにおいて、HDDCは標準クラスタリング手法を精度および耐性の面で上回るか。
• RQ4 全共分散行列やグローバル次元削減手法と比較して、部分空間固有のモデリングが過学習をどの程度軽減するか。
• RQ5 高次元データで一般的に見られる特異的または悪条件な標本共分散行列に対し、HDDCはどのように対処するか。

主な発見

• HDDCは、人工的および実世界の高次元データセットにおいて、特に次元数に比べてサンプルサイズが小さい状況で、標準クラスタリング手法を顕著に上回る性能を発揮する。
• 各クラスタの真の内在次元を的確に同定できており、BIC基準およびスクリーテストがモデル選択を効果的に支援している。
• 各クラスタを個別の部分空間でモデル化することで、推定すべきパラメータ数が削減され、過学習が軽減され、一般化性能が向上する。
• 部分空間固有のパラメータ化と固有値ベースの分解により、特異的または悪条件な共分散行列に対してもアルゴリズムは耐性を示す。
• 画像解析データセットにおける実験結果から、HDDCはPCAベースやグローバル次元削減手法と比較して優れた性能を確認できる。
• 共通パラメータ（例：共通のbやa）を有する効率的なモデルを用いることで、さらに計算効率と安定性が向上する。