[論文レビュー] Discriminative variable selection for clustering with the sparse Fisher-EM algorithm

Charles Bouveyron, Camille Brunet|arXiv (Cornell University)|Apr 10, 2012

Bayesian Methods and Mixture Models被引用数 8

ひとこと要約

本稿では、Fisher-EMフレームワークにℓ₁正則化によるスパarsityを導入することで、クラスタリングにおける判別的変数選択のための新規手法、スパースFisher-EMアルゴリズムを提案する。この手法は、高次元データにおけるクラスタを最も効果的に区別する少数の意味のある変数を、高速かつスパースに特定する。従来手法に比べて速度とスパarsityの両面で優れており、解釈可能な低次元可視化を可能にするとともに、火星の高スペクトル画像セグメンテーションへの応用でも成功を収めた。

ABSTRACT

The interest in variable selection for clustering has increased recently due to the growing need in clustering high-dimensional data. Variable selection allows in particular to ease both the clustering and the interpretation of the results. Existing approaches have demonstrated the efficiency of variable selection for clustering but turn out to be either very time consuming or not sparse enough in high-dimensional spaces. This work proposes to perform a selection of the discriminative variables by introducing sparsity in the loading matrix of the Fisher-EM algorithm. This clustering method has been recently proposed for the simultaneous visualization and clustering of high-dimensional data. It is based on a latent mixture model which fits the data into a low-dimensional discriminative subspace. Three different approaches are proposed in this work to introduce sparsity in the orientation matrix of the discriminative subspace through $\ell_{1}$-type penalizations. Experimental comparisons with existing approaches on simulated and real-world data sets demonstrate the interest of the proposed methodology. An application to the segmentation of hyperspectral images of the planet Mars is also presented.

研究の動機と目的

• ほとんどの変数が不要な高次元データにおけるクラスタリングの課題に対処し、性能の低下と解釈性の低下を回避する。
• ベイズ的手法では遅すぎる、または罰則付き尤度手法ではスパarsityが不十分な、従来の変数選択手法の限界を克服する。
• 低次元の潜在部分空間における判別的特徴の特定を通じて、次元削減と変数選択を同時に実行するクラスタリング手法を開発する。
• クラスタリングの精度を維持または向上させながら、高次元クラスタリングにおける計算効率とスパarsity制御を向上させる。

提案手法

• Fisher-EMアルゴリズムのローディング行列にℓ₁型の罰則を導入し、判別的部分空間への射影におけるスパarsityを誘導する。
• ℓ₁罰則付き最適化に基づく3つの異なるスパarsity誘導戦略を提案し、選択された変数の数を制御する。
• EMに類似した反復的手順を採用し、Fステップではスパarsity制約下での制約付きFisher基準を最大化することで、判別的部分空間への射影行列を推定する。
• 最適なスパarsityレベルの選択のため、罰則付きBIC基準を適用する。
• 分離された特徴選択ステップを回避し、変数選択をクラスタリングプロセスそのものに統合する。
• 最も情報量の多い変数を反映する、低次元の判別的空間におけるクラスタの可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁罰則付き正則化は、Fisher-EMアルゴリズムのローディング行列にスパarsityを効果的に誘導し、最も判別的である変数のみを選択できるか？
• RQ2 従来の変数選択手法と比較して、スパースFisher-EMアルゴリズムのクラスタリング精度とスパarsityの両面での性能はどのように異なるか？
• RQ3 従来の手法が計算不能になる高次元設定において、本手法は計算効率を維持できるか？
• RQ4 実世界の応用、例えば高スペクトル画像解析において、選択された変数は意味的に解釈可能か？
• RQ5 モデルベースクラスタリングにスパarsityを導入する文脈において、罰則付きBIC基準は最適なスパarsityレベルの選択に有効か？

主な発見

• スパースFEMアルゴリズムは、Clustvarsel、Selvarclust、またはsparse-kmeansといった既存手法と比較して、変数の数が中程度に抑えられるバランスの取れたスパarsityとクラスタリング性能を達成する。
• ベイズ的手法による変数選択と比較して、計算時間を顕著に短縮し、高次元データに対して実用的であることを示した。
• 火星の高スペクトル画像データセットにおいて、スパースFEMは256波長中8波長の判別的波長のみを用いて、専門家によるセグメンテーションと60.30%の一致を達成した。
• 選択された8波長は非常に情報量が多く、順次追加されるごとに、より具体的な鉱物クラスのグループ間の区別が向上した。
• 今後のデータ取得では、1ピクセルあたり数秒の測定を8選択波長のみで測定することで1秒未満に短縮可能であると示唆された。
• 本手法は、惑星表面データにおける異なる鉱物学的クラスを区別する物理的に意味のあるスペクトルバンドを効果的に特定した。