[論文レビュー] Effective Discriminative Feature Selection with Non-trivial Solutions

Hong Tao, Chenping Hou+3 more|arXiv (Cornell University)|Apr 21, 2015

Face and Expression Recognition参考文献 29被引用数 6

ひとこと要約

本稿では、線形判別分析（LDA）とℓ₂,p-ノルム正則化を統合することで、最も判別性の高い特徴量を同時に選択し、冗長な特徴量を排除する、新たな特徴選択手法である判別的特徴選択（DFS）を提案する。0 < p ≤ 2 における ℓ₂,p-最小化問題として問題を定式化することで、従来のLDAベースおよびフィルターベース手法よりもスパarsityと性能が向上し、単調に収束する高速なアルゴリズムが保証されている。

ABSTRACT

Feature selection and feature transformation, the two main ways to reduce dimensionality, are often presented separately. In this paper, a feature selection method is proposed by combining the popular transformation based dimensionality reduction method Linear Discriminant Analysis (LDA) and sparsity regularization. We impose row sparsity on the transformation matrix of LDA through ${\ell}_{2,1}$-norm regularization to achieve feature selection, and the resultant formulation optimizes for selecting the most discriminative features and removing the redundant ones simultaneously. The formulation is extended to the ${\ell}_{2,p}$-norm regularized case: which is more likely to offer better sparsity when $0

研究の動機と目的

• 特徴量の相互作用や冗長性を適切に扱えない従来のフィルターベース特徴選択手法の限界を解消すること。
• 線形判別分析（LDA）の判別力とスパarsity正則化を統合し、より優れた特徴選択を実現すること。
• 最も判別性の高い特徴量を同時に選択し、相関が高く冗長な特徴量を削除する手法の開発。
• ℓ₂,1-ノルム定式化を0 < p < 1 の場合により良いスパarsity近似が得られるようにℓ₂,p-ノルム正則化に拡張すること。
• 特徴選択の文脈においてℓ₂,p-ノルム最小化問題を解くための効率的かつ収束性を保証するアルゴリズムの設計。

提案手法

• LDA変換行列にℓ₂,p-ノルム正則化を課すことにより、特徴選択をスパースLDA問題として定式化し、行スパarsityを誘導する。
• ℓ₂,p-ノルム最小化目的関数を用いることで、特徴量間のグループスパarsityを促進し、判別性が高く冗長性のない特徴量の選択を強化する。
• 0 < p ≤ 2 の非凸なℓ₂,p問題を解くために、交替方向乗数法（ADMM）に基づく反復的最適化アルゴリズムを提案する。
• 提案されたアルゴリズムが、与えられた条件下で目的関数を単調に減少させ、定常点に収束することを証明する。
• 高次元設定における特異性の問題を解消するため、全散乱行列Stに正則化を適用する。
• ℓ₂,p最小化の近似を改善し、スパarsityと収束性を向上させるために、アルゴリズム内で再重み付けスキームを採用する。

実験結果

リサーチクエスチョン

• RQ1 LDAベース手法において、ℓ₂,p-ノルム正則化はℓ₂,1-ノルムに比べて特徴選択性能を向上させるか？
• RQ2 提案されたDFS手法は、判別力を維持しつつ特徴量の冗長性を効果的に低減するか？
• RQ3 ℓ₂,p-ノルムにおけるpの値の選択が、スパarsityと分類精度にどのように影響するか？
• RQ4 ℓ₂,p-最小化のための提案された最適化アルゴリズムは、実際の応用において効率的かつ収束性を示すか？
• RQ5 既存のフィルターベースおよび埋め込み型特徴選択手法と比較して、DFSの性能と計算コストはどのようになるか？

主な発見

• COIL20およびCOLONを含む複数の実世界データセットにおいて、p = 0.1およびp = 0.5のDFSがベースライン手法よりも優れた分類精度を達成した。
• COIL20およびCOLONにおいて、全テストp値（0.1, 0.5, 1）に対して20イテレーション以内にアルゴリズムが収束し、高速な収束を示した。
• 正則化パラメータγの値に敏感であり、最適な値はデータセットごとに異なるが、γが増加するに従い分類精度がピークに達した後、低下することが観察された。
• p = 1（ℓ₂,1に等価）のDFSは、COIL20およびISOLET5においてLS、mRMR、RF、TR手法を上回る分類精度を示した。
• BAHSICは反復的なカーネル行列更新が必要なため最も遅く、DFS（p=1）はBAHSICより速いが、LSやTRといった単純な手法よりは遅かった。
• 目的関数は単調に減少し、連続する変換行列Aの差分が0に収束することが確認され、アルゴリズムの安定性と収束性が裏付けられた。