[論文レビュー] Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection

Zhengxin Li, Feiping Nie+2 more|arXiv (Cornell University)|Dec 29, 2020

Face and Expression Recognition参考文献 26被引用数 7

ひとこと要約

本稿では、再構築誤差の最小化とℓ₂,ₚ-ノルム正則化を統合することでスパースな射影行列を学習し、次元削減を実現する、新たな非教師付き特徴選択手法SPCAFSを提案する。本手法は、多数の実世界データセットにおいて優れたクラスタリング性能を達成し、最先端のベースラインを最大で5%の精度向上および3%の正規化相互情報量向上で上回り、収束が早く計算量が低いという利点を兼ね備えている。

ABSTRACT

In the field of data mining, how to deal with high-dimensional data is an inevitable problem. Unsupervised feature selection has attracted more and more attention because it does not rely on labels. The performance of spectral-based unsupervised methods depends on the quality of constructed similarity matrix, which is used to depict the intrinsic structure of data. However, real-world data contain a large number of noise samples and features, making the similarity matrix constructed by original data cannot be completely reliable. Worse still, the size of similarity matrix expands rapidly as the number of samples increases, making the computational cost increase significantly. Inspired by principal component analysis, we propose a simple and efficient unsupervised feature selection method, by combining reconstruction error with $l_{2,p}$-norm regularization. The projection matrix, which is used for feature selection, is learned by minimizing the reconstruction error under the sparse constraint. Then, we present an efficient optimization algorithm to solve the proposed unsupervised model, and analyse the convergence and computational complexity of the algorithm theoretically. Finally, extensive experiments on real-world data sets demonstrate the effectiveness of our proposed method.

研究の動機と目的

• ノイズの多い特徴や類似度行列の構築に敏感な従来のスペクトル的手法に起因する高次元データの課題に対処する。
• 教師ラベルに依存せず、データの内在的構造を保持する効率的でラベルフリーの特徴選択手法を開発する。
• フィルタ法やラッパー法の限界を克服するため、構造的スパarsityを備えた低ランク再構築フレームワークに特徴選択を統合する。
• 理論的収束保証と線形計算量を備えた最適化アルゴリズムを設計し、スケーラビリティを確保する。
• 多様な実世界データセットにおいて、ハイパーパrameterの選択に頑健で、優れた性能を発揮することを実証する。

提案手法

• データの再構築誤差を最小化するスパースな射影行列Wを用いて、非教師付き特徴選択を低ランク再構築問題として定式化する。
• 射影行列Wにℓ₂,ₚ-ノルム正則化を導入することで、行単位のスパarsityを誘導し、特徴選択を促進するとともに、最適化の安定性を保つための凸性を維持する。
• 非凸問題を解くために、2段階の交互最適化アルゴリズムを用いる：まず再構築を固定した状態でWを更新し、次にWを固定した状態で再構築を更新する。
• 目的関数は、データ再構築誤差とℓ₂,ₚ正則化の組み合わせで表される：min ||X - XW||_F² + γ||W||₂,ₚ、ここでγはスパarsityを制御する。
• 最適化アルゴリズムの収束性を証明し、サンプル数に対して線形の計算量であることを解析する。
• 実世界のデータセットに本手法を適用し、教師ラベルを必要とせず、学習されたスパースな射影行列に基づいて特徴を選択する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₂,ₚ-ノルム正則化は、非教師付き特徴選択における射影行列のスパarsityを効果的に誘導できるか？
• RQ2 本手法は、既存の非教師付き特徴選択手法と比較して、クラスタリング精度および正規化相互情報量の面で優れているか？
• RQ3 提案された最適化アルゴリズムの収束特性および計算効率はいかがなものか？
• RQ4 本手法の性能は、ハイパーパrameter γおよびmの選択にどれほど敏感か？また、ℓ₂,ₚ-ノルム正則化における最適なpの値は何か？
• RQ5 本手法は、次元数やノイズレベルが異なる多様な実世界データセットにおいても、頑健な性能を維持できるか？

主な発見

• SPCAFSは、全テストデータセットにおいてベースライン手法と比較してクラスタリング精度および正規化相互情報量（NMI）を顕著に向上させ、Imm40データセットでは2番目に優れた手法（MCFS）と比較して最大で5%の精度向上および3%のNMI向上を達成した。
• 目的関数の値が全データセットで素早く安定化するため、提案された最適化アルゴリズムの効率性が確認された。
• γおよびmの値の広い範囲において性能が安定しており、ハイパーパrameterチューニングへの感受性が低く、実用的利便性が向上していることが示された。
• ℓ₂,ₚ-ノルム正則化においてp = 1に設定すると最良の結果が得られ、pを1未満に低下させると非凸性が増加し最適化が難しくなるため、性能が劣化した。
• 選択された特徴数が増加するにつれて、クラスタリング性能は一時的に向上するが、その後低下する傾向を示し、過剰に選択された冗長特徴が性能を劣化させることを確認した。
• PalmData25データセットにおいても、SPCAFSはすべての競合手法を上回ったが、完全特徴ベースラインよりわずかに性能が低いものの、困難な状況下でも一貫した有効性を示した。