[論文レビュー] Simple and Scalable Sparse k-means Clustering via Feature Ranking

Zhiyue Zhang, Kenneth Lange+1 more|arXiv (Cornell University)|Feb 20, 2020

Face and Expression Recognition参考文献 51被引用数 7

ひとこと要約

本稿では、特徴の寄与度に基づいて反復的に特徴を順位付け・切り詰める手法を用い、スパースなk-meansクラスタリングを実現するシンプルでスケーラブルな手法、特徴順位付けを用いたスパースk-means（SKFR）を提案する。この手法は、顕著に低い計算コストで競争力ある性能を達成し、スパarsityレベルsという1つのハイパーパrameterのみを必要とすることで、高次元データにおける効率的で解釈可能なクラスタリングを可能にする。

ABSTRACT

Clustering, a fundamental activity in unsupervised learning, is notoriously difficult when the feature space is high-dimensional. Fortunately, in many realistic scenarios, only a handful of features are relevant in distinguishing clusters. This has motivated the development of sparse clustering techniques that typically rely on k-means within outer algorithms of high computational complexity. Current techniques also require careful tuning of shrinkage parameters, further limiting their scalability. In this paper, we propose a novel framework for sparse k-means clustering that is intuitive, simple to implement, and competitive with state-of-the-art algorithms. We show that our algorithm enjoys consistency and convergence guarantees. Our core method readily generalizes to several task-specific algorithms such as clustering on subsets of attributes and in partially observed data settings. We showcase these contributions thoroughly via simulated experiments and real data benchmarks, including a case study on protein expression in trisomic mice.

研究の動機と目的

• 不要またはノイズの多い特徴による影響により、高次元データにおけるクラスタリング性能が低下する問題に対処すること。
• 既存のスパースk-means手法における計算複雑性と初期値への感受性を克服すること。
• 特徴のスパarsityを保証するとともに、元の特徴空間における解釈可能性を維持する手法を開発すること。
• スパarsityレベルsという1つのパrameterにまでハイパーパrameterの数を削減することで、チューニングの最小化を実現すること。
• 欠損データや外れ値を含む現実世界の設定においてもスケーラビリティとロバストネスを確保すること。

提案手法

• 反復的な特徴順位付けと切り詰めに基づく、スパースk-meansクラスタリングの新規フレームワークを提案する。
• クラスタ間平方和に基づく特徴順位付け基準を用い、最も情報量の多い特徴を特定する。
• 各反復で、クラスタ分離度に寄与する上位s個の特徴を選択し、それらの特徴のみを用いてクラスタ中心を再計算する。
• クラスタ割り当てと特徴サブセットを交互に最適化するブロック座標降下法を採用する。
• クラスタ中心をスパースボール制約上へ射影するステップを組み込み、スパarsityを強制する。
• コアアルゴリズムのモジュラーな拡張により、欠損データや外れ値を含む設定への自然な一般化が可能である。

実験結果

リサーチクエスチョン

• RQ1 既存のスパースk-means手法と比較して、顕著に低い計算コストで競争力あるクラスタリング性能を達成できるか、シンプルな特徴順位付けベースのアプローチは有効か？
• RQ2 スパースな真の信号を伴う高次元設定下で、提案手法の収束性と一貫性はどの程度か？
• RQ3 主成分分析（PCA）のような次元削減手法と比較して、この手法は特徴の解釈可能性をどの程度保持できるか？
• RQ4 スパarsityパラメータsの選択にどれほど感受性を示すか、そしてギャップ統計量などの標準的手法を用いて信頼性を持ってチューニング可能か？
• RQ5 スケーラビリティや性能を損なわずに、欠損データや外れ値を含む設定への拡張が可能か？

主な発見

• 提案されたSKFR手法は、最先端のスパースk-meansアルゴリズムと同等のクラスタリング性能を達成する一方で、顕著に低い計算オーバーヘッドを実現する。
• 仮定されたスパarsityモデル下で、強力な収束性と一貫性の保証が得られる。
• シミュレーションデータおよび実際のデータ（トライソミックマウスのタンパク質発現データを含む）を用いた実験結果から、手法のロバストネスと正確性が確認された。
• スパarsityレベルsという1つのハイパーパrameterのみを必要とし、ギャップ統計量や交差検証を用いてチューニング可能で、不安定性が最小限に抑えられる。
• 部分的に観測されたデータや外れ値に強い設定への拡張は直感的で、高い性能を維持する。
• PCAベースの手法とは異なり、元の特徴空間での特徴選択により、解釈可能性を保持する。