[論文レビュー] Gradient-based Laplacian Feature Selection

Bo Wang, Anna Goldenberg|arXiv (Cornell University)|Apr 10, 2014

Face and Expression Recognition参考文献 15被引用数 4

ひとこと要約

本稿では、正確な共分散計算とℓ₁緩和を用いてラプラシアン正則化最小二乗回帰モデルにおける分散を最小化することで、スパarsityを実現する非教師付き特徴選択手法である勾配ベースラプラシアン特徴選択（GLFS）を提案する。GLFSは、オブジェクト認識および計算生物学のデータセットにおいて、分類およびクラスタリング性能が優れており、Elastic Netを含む最先端手法を上回り、より少ない、より関連性の高い特徴を選択する。

ABSTRACT

Analysis of high dimensional noisy data is of essence across a variety of research fields. Feature selection techniques are designed to find the relevant feature subset that can facilitate classification or pattern detection. Traditional (supervised) feature selection methods utilize label information to guide the identification of relevant feature subsets. In this paper, however, we consider the unsupervised feature selection problem. Without the label information, it is particularly difficult to identify a small set of relevant features due to the noisy nature of real-world data which corrupts the intrinsic structure of the data. Our Gradient-based Laplacian Feature Selection (GLFS) selects important features by minimizing the variance of the Laplacian regularized least squares regression model. With $\ell_1$ relaxation, GLFS can find a sparse subset of features that is relevant to the Laplacian manifolds. Extensive experiments on simulated, three real-world object recognition and two computational biology datasets, have illustrated the power and superior performance of our approach over multiple state-of-the-art unsupervised feature selection methods. Additionally, we show that GLFS selects a sparser set of more relevant features in a supervised setting outperforming the popular elastic net methodology.

研究の動機と目的

• ラベル情報が利用できない高次元でノイズの多い現実世界のデータにおける非教師付き特徴選択の課題に対処すること。
• 現在の非教師付き手法の限界、例えばグリーディアルゴリズム依存、近似共分散行列、パrameterチューニングへの感受性を克服すること。
• データの内在的な多様体構造に関連するスパースな特徴サブセットを特定できるスケーラブルで頑健な手法を開発すること。
• ラプラシアン正則化回帰の幾何学的および識別的性質を活用することで、クラスタリングおよび分類タスクの性能を向上させること。

提案手法

• GLFSは、正確な全共分散行列を用いて多様体構造を保持するラプラシアン正則化最小二乗（LapRLS）回帰における分散最小化問題として特徴選択を定式化する。
• NP困難なℓ₀ノルム制約を凸緩和によりℓ₁ノルムに緩和することで、効率的な最適化が可能となり、スパースな特徴サブセットが得られる。
• ℓ₁正則化最適化のためのニュートン型ソルバを用いた高速収束を可能にする、閉形式の一次ジャコビ行列を導出する。
• 手動による指定なしにペナルティパラメータλをチューニングするための自動ラインサーチ技術を導入する。
• 学習済みの特徴重みをLapRLS予測ルールに用いることで、分類タスクに応用可能な教師あり設定に拡張する。
• クロスバリデーションを用いたハイパーパrameter選択を伴い、非教師クラスタリングおよび教師あり分類タスクの両方へフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアン正則化に基づく非教師特徴選択手法は、高次元でノイズの多いデータにおいて、既存の最先端手法を上回る性能を達成できるか？
• RQ2 近似ではなく正確な共分散行列を用いることで、特徴選択の頑健性と精度が向上するか？
• RQ3 ℓ₀ノルム制約のℓ₁緩和は、グリーディなℓ₀最適化と比較して、よりスパースで、より安定的かつ正確な特徴サブセットを生成できるか？
• RQ4 遺伝子発現データにおいて、GLFSは生物学的に関連性のある特徴を効果的に同定できるか、特に疾患サブタイプの同定に有効か？
• RQ5 特徴選択時にラベル情報を利用しない条件下で、同じデータに適用した場合、GLFSはElastic Netのような一般的な教師あり手法を上回る性能を示せるか？

主な発見

• シミュレーションデータにおけるクラスタリングでは、GLFSが最も高い正規化相互情報量（NMI）スコアを達成し、Laplacian Score や SPCA などの手法を上回った。特に100未満の特徴数で顕著な優位性を示した。
• MNIST、COIL20、AT&T顔認識データセットにおいて、GLFSはLaplacian Score や SPCA、LapAOFS よりも優れたクラスタリング性能を示し、NMI および調整ランダムインデックスの両面で一貫した向上を達成した。
• TCGAデータを用いた膠芽腫（GBM）サブタイプ検出において、GLFSは約25個の遺伝子からなるスパースなセットを特定し、生物学的サブタイプを効果的に捉えた。SOTA手法であるSPCA や他の手法と比較して、少ない特徴数でも優れた性能を示した。
• 白血病マイクロアレイデータセットでは、GLFSはわずか16個の特徴を選択しただけで0%のテスト誤差を達成し、Elastic Net（0%テスト誤差）と同等の性能を示したが、特徴数は64%も削減した。
• GLFSは競合手法よりも頑健であった。SPCA やラプラシアンベース手法とは異なり、特徴数の増加に伴い性能が低下しなかったため、余分な特徴がノイズを追加しないことが示された。
• 複数回の試行においてGLFSは安定した性能を示したのに対し、SPCA や LapDOFS は初期化や類似性グラフ構築への感受性により高い分散を示した。