[論文レビュー] Regularization and feature selection for large dimensional data

Nand Kishore Sharma, Prathamesh Verlekar+2 more|arXiv (Cornell University)|Dec 6, 2017

Gene expression and cancer classification参考文献 14被引用数 3

ひとこと要約

本稿では、高次元データにおけるSVMにおけるL1、L2、または組み合わせ正則化を用いた5つの埋め込み特徴選択手法を評価し、スパarsity、相関、実行時間の観点から性能を比較している。Elastic Net (EN) は、精度と速度の両面で一貫して他の手法を上回り、さまざまなデータタイプや相関レベルにおいて頑健であることが示された。

ABSTRACT

Feature selection has evolved to be an important step in several machine learning paradigms. In domains like bio-informatics and text classification which involve data of high dimensions, feature selection can help in drastically reducing the feature space. In cases where it is difficult or infeasible to obtain sufficient number of training examples, feature selection helps overcome the curse of dimensionality which in turn helps improve performance of the classification algorithm. The focus of our research here are five embedded feature selection methods which use either the ridge regression, or Lasso regression, or a combination of the two in the regularization part of the optimization function. We evaluate five chosen methods on five large dimensional datasets and compare them on the parameters of sparsity and correlation in the datasets and their execution times.

研究の動機と目的

• 異なる正則化技術（L1、L2、およびL1/L2の組み合わせ）が高次元データにおける特徴選択性能に与える影響を評価すること。
• 実際のデータセットを用いて、スパarsity（スパース）と相関の違いを考慮した場合、埋め込み手法（正則化を施したSVMを用いる）とフィルタ手法（SCおよびGolub）を比較すること。
• 分類精度（BSR）、スパarsity、相関への感受性、実行時間の観点からアルゴリズムの性能を評価すること。
• 多様なデータ特性にわたって、精度、効率性、頑健性のバランスが最も良い正則化戦略を特定すること。

提案手法

• L1-SVM、L2-SVM、L21、ローカル学習（LL）、Elastic Net（EN）の5つの埋め込み特徴選択手法を採用。これらはすべて異なる正則化ノルムを用いたSVMに基づく。
• 統一された最適化フレームワークを用いる：min_w,b L(w,b) + λR(w,b)。ここでLは損失関数（例：ハングル損失）であり、Rは正則化項（L1、L2、または混合）である。
• スパースおよび密なデータを含む5つの高次元データセット（Arabidopsis、Arcene、Dexter、Dorothea（10万特徴）、Gisette）に手法を適用。
• 性能評価には、バランス感度率（BSR）、選択された特徴のスパarsity、相関感受性、実行時間を用いる。
• データ特性（スパarsity（スパース対密））、相関（低対高）、次元（最大10万特徴）の観点から結果を比較。
• 比較のためのフィルタ手法ベースラインとしてSCおよびGolubを用い、埋め込み手法との性能を評価。

実験結果

リサーチクエスチョン

• RQ1 相関レベルが異なるデータセットにおいて、L1、L2、およびL1/L2の組み合わせ正則化が分類精度（BSR）に与える影響はいかほどか？
• RQ2 スパースおよび密なデータセットの両方において、特徴選択のスパarsityと分類性能のバランスが最も優れた埋め込み手法はどれか？
• RQ3 特に超高次元設定（例：Dorothea（10万特徴））において、5つの埋め込み手法の実行時間はどのように変化するか？
• RQ4 高相関データセットにおいてL1正則化の性能はどの程度劣化するか？ENおよびL21はどのように比較されるか？
• RQ5 Elastic Netフレームワークにおいて、L1およびL2正則化を損失関数と正則化項の両方に適用するのではなく、正則化項にのみ適用することで、より優れた性能が得られるか？

主な発見

• Elastic Net（EN）は、5つのデータセットのうち3つで最高のバランス感度率（BSR）を達成し、多様なデータタイプにわたる優れた全体的な性能を示した。
• ENは実行時間において顕著に優れており、最小のデータセット（Arcene）において平均5.3秒で特徴選択を完了した。これは、次に速い手法の45秒と比べて顕著に高速であった。
• Dorotheaのような高相関データセットでは、L1-SVMが最悪の性能を示したが、SC（相関に基づくフィルタ手法）が最も良かった。しかし、ENは依然として2番目に高く、相関への感受性が低いことが示された。
• 低相関データセット（例：Dexter、Gisette）では、ローカル学習（LL）およびL1-SVMが上位に位置づけられ、ENは3つのうち2つで2番目に高い性能を示した。これは、ENの汎用性の高さを示している。
• スパースデータセットでは、ENとLLが最高のBSRを達成した。一方、密なデータセットでは、LL、L1-SVM、ENが上位に位置し、強い適応性を示した。
• L21手法は、損失関数と正則化項の両方に両方のノルムを適用していたが、EN（正則化項にのみ両方のノルムを適用）に比べて性能が劣った。これは、正則化項にのみ両方のノルムを適用する設定が、より効果的であることを示唆している。