[論文レビュー] Sparse K-Means with $\ell_{\infty}/\ell_0$ Penalty for High-Dimensional Data Clustering

Xiangyu Chang, Yu Wang+2 more|arXiv (Cornell University)|Mar 31, 2014

Advanced Clustering Algorithms Research参考文献 21被引用数 5

ひとこと要約

本稿では、高次元クラスタリングにおける特徴選択を改善するために、ℓ₀/ℓ∞正則化を用いた新しいスパースk-meansフレームワークを提案する。効率的な反復アルゴリズムを用いてℓ₀-k-meansを定式化することで、理論的特徴選択の一貫性を達成し、合成データおよび生物学的データにおいてℓ₁-k-meansよりも優れたノイズ特徴検出性能を示す。

ABSTRACT

Sparse clustering, which aims to find a proper partition of an extremely high-dimensional data set with redundant noise features, has been attracted more and more interests in recent years. The existing studies commonly solve the problem in a framework of maximizing the weighted feature contributions subject to a $\ell_2/\ell_1$ penalty. Nevertheless, this framework has two serious drawbacks: One is that the solution of the framework unavoidably involves a considerable portion of redundant noise features in many situations, and the other is that the framework neither offers intuitive explanations on why this framework can select relevant features nor leads to any theoretical guarantee for feature selection consistency. In this article, we attempt to overcome those drawbacks through developing a new sparse clustering framework which uses a $\ell_{\infty}/\ell_0$ penalty. First, we introduce new concepts on optimal partitions and noise features for the high-dimensional data clustering problems, based on which the previously known framework can be intuitively explained in principle. Then, we apply the suggested $\ell_{\infty}/\ell_0$ framework to formulate a new sparse k-means model with the $\ell_{\infty}/\ell_0$ penalty ($\ell_0$-k-means for short). We propose an efficient iterative algorithm for solving the $\ell_0$-k-means. To deeply understand the behavior of $\ell_0$-k-means, we prove that the solution yielded by the $\ell_0$-k-means algorithm has feature selection consistency whenever the data matrix is generated from a high-dimensional Gaussian mixture model. Finally, we provide experiments with both synthetic data and the Allen Developing Mouse Brain Atlas data to support that the proposed $\ell_0$-k-means exhibits better noise feature detection capacity over the previously known sparse k-means with the $\ell_2/\ell_1$ penalty ($\ell_1$-k-means for short).

研究の動機と目的

• 既存のスパースk-means手法が冗長なノイズ特徴の大部分を保持するという限界を解決すること。
• ℓ₁-k-meansで用いられるℓ₂/ℓ₁正則化フレームワークの理論的および解釈可能性の欠如を克服すること。
• ℓ₀/ℓ∞正則化に基づく新しいスパースクラスタリングフレームワークを構築し、一貫性があり直感的な特徴選択を可能にすること。
• 高次元ガウス混合モデル下での特徴選択の一貫性について理論的保証を確立すること。
• 実験的に、提案されたℓ₀-k-meansがノイズ特徴の同定と除去においてℓ₁-k-meansを上回ることを示すこと。

提案手法

• 高次元クラスタリング問題に特化した最適な分割とノイズ特徴の定義を新たに導入する。
• ℓ₀/ℓ∞正則化を用いた最適化問題として定式化された新しいスパースk-meansモデル、ℓ₀-k-meansを提案する。これにより、スパarsityを促進し、関連する特徴を選択できる。
• 非凸なℓ₀-k-means問題を解くための効率的な反復アルゴリズムを設計し、実装可能性を確保する。
• 理論的分析を活用して、高次元ガウス混合モデル下でℓ₀-k-meansの解が特徴選択の一貫性を達成することを証明する。
• スターリングの近似と集中不等式を用いて、高次元設定下での誤った特徴選択の確率を評価する。
• 解析を簡素化し、現実的な条件下でも理論的結果が成り立つように、データ行列を正規化する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₀/ℓ∞正則化を用いた新しいスパースクラスタリングフレームワークは、ノイズ特徴を保持するというℓ₂/ℓ₁正則化フレームワークの限界を克服できるか？
• RQ2 データが高次元ガウス混合モデルから生成される場合、ℓ₀-k-meansは理論的特徴選択の一貫性を達成するか？
• RQ3 合成データおよび実世界のデータにおいて、ℓ₀-k-meansはℓ₁-k-meansと比較してノイズ特徴の検出と除去に優れているか？
• RQ4 サンプルサイズが増加する際、ℓ₀-k-meansフレームワーク下での正しい特徴選択の理論的確率はどのように変化するか？
• RQ5 ℓ₀正則化の非凸性にもかかわらず、ℓ₀-k-meansアルゴリズムは効率的に実装可能で解釈可能か？

主な発見

• ℓ₀-k-meansアルゴリズムは特徴選択の一貫性を達成しており、これは漸近的に関連する特徴のみを確率的に選択し、すべてのノイズ特徴を除外することを意味する。
• 高次元ガウス混合モデル下では、サンプルサイズが増加するにつれて、ℓ₀-k-meansが関連する特徴を正しく同定する確率は1に近づく。
• 理論的バウンドにより、特徴数が exp(n∑πₖμₖ²/258) よりもゆっくりと増加する場合、正しい特徴選択の確率は1に収束することが示された。
• 合成データにおける実験結果から、ℓ₀-k-meansはℓ₁-k-meansが失敗するノイズ特徴を効果的に排除していることが明らかになった。
• アレン開発マウス脳アトラスデータセットにおいて、ℓ₀-k-meansはℓ₁-k-meansよりも優れたノイズ特徴検出能力を示した。
• 提案手法は計算的に効率的で解釈可能であり、既存のスパースk-means手法の実用的代替手段を提供する。