[論文レビュー] Clustering with feature selection using alternating minimization, Application to computational biology

Cyprien Gilet, Marie Deprez+2 more|arXiv (Cornell University)|Nov 8, 2017

Sparse and Compressive Sensing Techniques参考文献 52被引用数 10

ひとこと要約

本論文は、ℓ¹制約付き射影勾配最適化を用いてスパarsityを強制することで、高次元データにおけるクラスタリングと特徴選択を統合的に実行する、k-sparseという交互最小化アルゴリズムを提案する。単一細胞RNA-seqデータセットにおいて、PCA-k-means、スペクトルクラスタリング、SIMLR、Sparclを凌駕し、最大100%の正確性と5–10倍の高速実行時間（実行時間）を達成しながら、サンプルサイズに対して線形スケーラビリティを維持する。

ABSTRACT

This paper deals with unsupervised clustering with feature selection. The problem is to estimate both labels and a sparse projection matrix of weights. To address this combinatorial non-convex problem maintaining a strict control on the sparsity of the matrix of weights, we propose an alternating minimization of the Frobenius norm criterion. We provide a new efficient algorithm named K-sparse which alternates k-means with projection-gradient minimization. The projection-gradient step is a method of splitting type, with exact projection on the $\ell^1$ ball to promote sparsity. The convergence of the gradient-projection step is addressed, and a preliminary analysis of the alternating minimization is made. The Frobenius norm criterion converges as the number of iterates in Algorithm K-sparse goes to infinity. Experiments on Single Cell RNA sequencing datasets show that our method significantly improves the results of PCA k-means, spectral clustering, SIMLR, and Sparcl methods, and achieves a relevant selection of genes. The complexity of K-sparse is linear in the number of samples (cells), so that the method scales up to large datasets.

研究の動機と目的

• 次元の呪いに起因する教師なしクラスタリングの課題を、特徴選択をクラスタリングプロセスに直接統合することで解決すること。
• ラグランジュ乗数のチューニングに依存せずに、射影行列におけるスパarsityを厳密に制御すること。
• 大規模な単一細胞ゲノムデータセットに適したスケーラブルで効率的なアルゴリズムの開発。
• ℓ¹正則化による生物学的に関連する特徴（例：遺伝子）の選択を通じて、クラスタリングの正確性と解釈可能性を向上させること。

提案手法

• 本手法は、射影されたデータ上でk-meansクラスタリングと、スパースな射影行列Wを最適化する射影勾配ステップを交互に実行する。
• 射影勾配ステップは、ℓ¹球への正確な射影を用いてℓ¹スパarsityを強制し、選択された特徴数の制御を保証する。
• クラスタメンバーシップ（Y）、空でないクラスタ、およびWのℓ¹ノルム ≤ η に対する制約のもとで、フロベニウスノルムの最小化を実行する。
• スパarsityを維持し、勾配射影部分問題の収束を保証するために、正確な射影を用いた分割型最適化スキームを採用する。
• スパarsityが反復ごとに増加するに従い、スパース行列演算を活用することで、サンプル数に対して線形にスケーリング可能である。
• 次元削減と特徴選択を1つの最適化ループに統合し、PCAなどの別個の前処理ステップを回避する。

実験結果

リサーチクエスチョン

• RQ1 ℓ¹制約付き射影を用いた交互最小化は、高次元の単一細胞RNA-seqデータにおけるクラスタリング正確性を向上させ得るか？
• RQ2 ラグランジュチューニングに依存する手法とは異なり、ℓ¹スパarsityに明示的な制御を施すことで、より優れた特徴選択と解釈可能性が得られるか？
• RQ3 実際の生物学的データセットにおいて、SIMLR、Sparcl、PCA-k-meansといった既存手法と比較して、提案手法k-sparseの正確性と実行時間はどのように異なるか？
• RQ4 大規模データセットに対しても効率的にスケーリング可能であり、高いクラスタリング性能を維持できるか？

主な発見

• Kleinデータセット（2,717セル、10,322遺伝子、4クラスタ）では、k-sparseは99.33%の正確性、98.77%のARI、0.97のNMIを達成し、SIMLRとSparclを上回り、実行時間が5倍速かった。
• Zeiselデータセット（3,005セル、7,364遺伝子、9クラスタ）では、k-sparseは83.26%の正確性と75.06%のARIを達成し、SIMLRより正確性で11%、ARIで20%高い性能を示した。
• η = 20,000の場合、k-sparseはKleinデータセットでわずか4,599遺伝子を選択し、高いスパarsityを実現した。
• KleinデータセットではSIMLRの8倍、Zeiselデータセットでは10倍の高速実行が達成され、Large SIMLRよりも顕著に優れたクラスタリング品質を示した。
• t-SNE可視化では、k-sparseがコンパクトで明確に分離されたクラスタを生成しているのに対し、SIMLRとSparclはUsoskinデータセットで1つのクラスタを回復できなかった。
• アルゴリズムは約10イテレーションで収束し、計算複雑度はサンプル数に対して線形であるため、大規模な単一細胞ゲノム応用へのスケーラビリティが可能である。