[論文レビュー] A robust and sparse K-means clustering algorithm

Yumi Kondo, Matías Salibián‐Barrera+1 more|arXiv (Cornell University)|Jan 29, 2012

Gene expression and cancer classification参考文献 9被引用数 13

ひとこと要約

本稿では、外れ値への耐性を高めるためのトリムドK-meansと、特徴量のスパarsityを強制するL1正則化を統合した、頑健でスパースなK-meansクラスタリング手法RSKCを提案する。高次元データにおいて関連する特徴量のみを選択することで、クラスタ構造を効果的に特定し、標準K-meansやスパースK-meansよりも優れた性能を示した。特に2つの特徴量に強いクラスタリング信号を持つ合成データにおいて顕著な優位性を示した。

ABSTRACT

In many situations where the interest lies in identifying clusters one might expect that not all available variables carry information about these groups. Furthermore, data quality (e.g. outliers or missing entries) might present a serious and sometimes hard-to-assess problem for large and complex datasets. In this paper we show that a small proportion of atypical observations might have serious adverse effects on the solutions found by the sparse clustering algorithm of Witten and Tibshirani (2010). We propose a robustification of their sparse K-means algorithm based on the trimmed K-means algorithm of Cuesta-Albertos et al. (1997) Our proposal is also able to handle datasets with missing values. We illustrate the use of our method on microarray data for cancer patients where we are able to identify strong biological clusters with a much reduced number of genes. Our simulation studies show that, when there are outliers in the data, our robust sparse K-means algorithm performs better than other competing methods both in terms of the selection of features and also the identified clusters. This robust sparse K-means algorithm is implemented in the R package RSKC which is publicly available from the CRAN repository.

研究の動機と目的

• 高次元データにおける不要またはノイズ混在の特徴量を有する場合の標準K-meansの限界を解消すること。
• トリミングによる外れ値への感受性低減により、クラスタリングの頑健性を向上させること。
• L1正則化による特徴量選択により、最も関連する特徴量のみを特定することで解釈性を高めること。
• 同時に頑健性とスパarsityを確保する統合的フレームワークの構築。
• 実世界の高次元データ解析に応用可能な実用的で公開可能なRパッケージ（RSKC）の提供。

提案手法

• 外れ値の影響を軽減するため、クラスタ内平方和が最大となる事前に指定された観測値の割合を除外するトリムドK-meansを採用する。
• クラスタ重心にL1正則化を適用し、クラスタ分離に寄与する特徴量のサブセットのみを選択するスパース性を誘導する。
• スパース制約付きのクラスタ割り当てと重心更新を交互に繰り返す反復的アルゴリズムにより最適化問題を解く。
• トリミングステップにより外れ値の影響が低減され、汚染状況下でも安定性が向上する。
• クラスタ内平方和と重心のL1ノルムの両方を同時に最小化することで、頑健性とスパarsityのバランスを図る。
• アルゴリズムはCRANに公開されているRパッケージRSKCとして実装されており、再現可能でスケーラブルな解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおいて、外れ値に対して頑健でありながら同時に特徴量スパarsityを強制するK-meansの変種を開発可能か？
• RQ2 トリミングとL1正則化の統合は、標準K-meansやスパースK-meansと比較して、クラスタリング精度にどのような影響を及ぼすか？
• RQ3 クラスタリング信号を担う特徴量が僅か数個である場合、この手法は真のクラスタ構造をどの程度回復できるか？
• RQ4 観測数が特徴量数に比べて著しく少ない場合でも、この手法は高い性能を維持できるか？
• RQ5 クラスタリングの過程で、関係のないまたはノイズ混在の特徴量をどの程度うまく同定・除外できるか？

主な発見

• 300件の観測値と1000個の特徴量を持つ合成データにおいて、RSKCは真のクラスタ構造を的確に回復したが、標準K-meansはクラスタリング信号を検出できなかった。
• スパースK-meansは正しく2つのクラスタリング特徴量を特定し、それらにのみ正の重みを割り当てた。これは効果的な特徴量選択を示している。
• RSKCが得た最適なパーティションは、真のクラスタラベルに非常に近い結果を示し、散布図比較でも明確に確認された。
• RSKCが選択した最適な重みは、2つのクラスタリング特徴量に対してのみ正であった。これは、関連する特徴量が的確に同定されたことを裏付けている。
• トリミングとスパarsityの統合により、クラスタリング精度を損なわず、より頑健で解釈可能な結果が得られた。
• RパッケージRSKCはCRANに公開されており、広範なアクセス性と結果の再現可能性を実現している。