[論文レビュー] $l_{2,p}$ Matrix Norm and Its Application in Feature Selection

Liping Wang, Songcan Chen|arXiv (Cornell University)|Mar 16, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用数 22

ひとこと要約

本稿では、特徴選択のための一般化された非凸型 $l_{2,p}$ 行列擬ノルムを導入し、$l_{2,1}$-ノルム正則化を $p \in (0,1)$ に拡張した。また、凸型（$p=1$）および非凸型（$0<p<1$）の最適化問題を効率的に解く統一的かつ収束性を保証するアルゴリズムを提案した。遺伝子発現データを用いた実験では、$p=0.5$ が $p=1$ よりも優れたスパarsityと分類精度を示し、特徴選択性能の向上を実証した。

ABSTRACT

Recently, $l_{2,1}$ matrix norm has been widely applied to many areas such as computer vision, pattern recognition, biological study and etc. As an extension of $l_1$ vector norm, the mixed $l_{2,1}$ matrix norm is often used to find jointly sparse solutions. Moreover, an efficient iterative algorithm has been designed to solve $l_{2,1}$-norm involved minimizations. Actually, computational studies have showed that $l_p$-regularization ($0

研究の動機と目的

• 特徴選択におけるスパarsityの向上を目的として、$l_{2,1}$-ノルム正則化を非凸型 $l_{2,p}$-ノルムに一般化すること。
• すべての $p \in (0,1]$ に対して、凸型（$p=1$）と非凸型（$0<p<1$）の両方を効率的に解く統一的アルゴリズムの開発。
• すべての $p \in (0,1]$ に対して、提案アルゴリズムの均一収束性を証明し、従来の方法が凸型と非凸型のそれぞれに別々のソルバを必要としていた制限を克服すること。
• 実世界の生物学的データにおいて、$p \in (0,1)$（特に $p=0.5$）が $p=1$ よりもスパarsityと分類精度を向上させることを実証的に検証すること。

提案手法

• 行列 $Y$ の行を $y_i$ とするとき、$\|Y\|_{2,p}^p = \sum_{i=1}^m \|y_i\|_2^p$ で定義される、非凸型 $p \in (0,1)$ における $l_{2,1}$-ノルムの一般化として、混合 $l_{2,p}$ 行列擬ノルムを提案。
• 凸型（$p=1$）と非凸型（$0<p<1$）の両方を別々の最適化戦略を必要とせずに処理できる統一的反復アルゴリズムを設計。
• 各ステップで閉形式解が得られるプロキシマルに類似した更新スキームを採用し、計算効率と収束性を確保。
• 理論的分析を用いて、$0<p<1$ の非リプシッツ的かつ非凸型の場合を含む、すべての $p \in (0,1]$ に対してアルゴリズムの均一収束性を証明。
• 特徴選択における $l_{2,p}$-正則化最小二乗問題にアルゴリズムを適用し、目的関数を $\|X - YB\|_F^2 + \alpha \|Y\|_{2,p}^p$ と定義。
• 実験では $p=0.25, 0.5, 0.75, 1$ を用い、4つの遺伝子発現データセットに対してSVM分類器を用いた5分割交差検証により性能を評価。

実験結果

リサーチクエスチョン

• RQ1 $p \in (0,1)$ の $l_{2,p}$-ノルムは、特徴選択タスクにおいて標準的な $l_{2,1}$-ノルムよりも優れたスパarsityを達成できるか？
• RQ2 凸型（$p=1$）と非凸型（$0<p<1$）の両方の領域において、$l_{2,p}$-ノルム最適化問題を効率的に解くことのできる単一の統一的アルゴリズムを設計可能か？
• RQ3 提案アルゴリズムは、$0<p<1$ の非凸型・非リプシッツ的ケースを含め、すべての $p \in (0,1]$ に対して収束保証を維持できるか？
• RQ4 実際の生物学的データにおいて、$p$ の選択が選択された特徴のスパarsityと分類精度にどのように影響を与えるか？

主な発見

• $l_{2,p}$-ノルムにおいて $p=0.5$ が、すべてのデータセットの平均で最小の分類誤差を達成し、特徴選択性能において $p=1$ を上回った。
• ALLAMLデータセットでは、$p=0.5$ が20個の特徴で4.0%の分類誤差を達成したのに対し、$p=1$ では5.43%であった。これは、よりスパースな特徴選択でも高い精度を達成していることを示している。
• LUNGデータセットでは、$p=0.5$ が20個の特徴で誤差を $p=1$ 時の2.95%から1.98%に低下させ、一貫した改善を示した。
• 統一的アルゴリズムは、すべての $p$ 値において約20イテレーションで収束し、データセット間で収束速度と目的関数の低下が一貫していた。
• $p=0.5$ の平均分類誤差は、40個の特徴で3.0675%、80個の特徴で3.1625%であり、すべてのケースで $p=1$ を上回った。
• 実験結果から、$p=0.5$ が $p=1$ よりも優れたスパースパターンを生成することが示され、非凸型 $l_{2,p}$-ノルムが特徴選択の質を向上させられることを確認した。