[論文レビュー] E2E-FS: An End-to-End Feature Selection Method for Neural Networks

Brais Cancela, Verónica Bolón‐Canedo+1 more|arXiv (Cornell University)|Dec 14, 2020

Fault Detection and Control Systems被引用数 4

ひとこと要約

E2E-FS は、最大選択特徴数に硬い制約を課すことで、lasso に類似した精度とフィルタ法に類似した解釈可能性を組み合わせた、ニューラルネットワーク向けの新規エンドツーエンド特徴選択手法である。勾配降下法を用いて、モデル学習と特徴選択を一度のステップで同時に最適化し、画像データやマイクロアレイデータを含む多様なデータセットで最先端の性能を達成している。

ABSTRACT

Classic embedded feature selection algorithms are often divided in two large groups: tree-based algorithms and lasso variants. Both approaches are focused in different aspects: while the tree-based algorithms provide a clear explanation about which variables are being used to trigger a certain output, lasso-like approaches sacrifice a detailed explanation in favor of increasing its accuracy. In this paper, we present a novel embedded feature selection algorithm, called End-to-End Feature Selection (E2E-FS), that aims to provide both accuracy and explainability in a clever way. Despite having non-convex regularization terms, our algorithm, similar to the lasso approach, is solved with gradient descent techniques, introducing some restrictions that force the model to specifically select a maximum number of features that are going to be used subsequently by the classifier. Although these are hard restrictions, the experimental results obtained show that this algorithm can be used with any learning model that is trained using a gradient descent algorithm.

研究の動機と目的

• 埋め込み型手法における特徴選択の精度とモデルの解釈可能性のトレードオフを解消すること。
• 高い性能を維持しつつ、選択される特徴数を正確に制御できること。
• 勾配降下法で学習される任意のモデル（深層ニューラルネットワークを含む）と互換性を持つ手法を開発すること。
• SVM-RFE や SFS のような再帰的手法と比較して、複数回のモデル再訓練を回避することで計算コストを削減すること。
• 高次元機械学習タスクにおける特徴選択に対して、統合的で効率的かつスケーラブルなソリューションを提供すること。

提案手法

• 特徴選択を、二値マスク ベクトル 𝛾 ∈ {0,1}^F が特徴を選択する制約付き最適化問題として定式化し、||𝛾||₁ ≤ M により最大 M 個の特徴を選択することを強制する。
• 二値制約の微分可能かつ緩和化された表現として、ソフトプラス関数を用いることで、バックプロパゲーションによる勾配ベース最適化を可能にする。
• 損失関数には、モデルの予測誤差と、𝛾 のスパarsity を促進する非凸な正則化項を組み合わせる。
• 標準的な最適化アルゴリズム（例：Adam、SGD）を用いてエンドツーエンドで学習し、最終的なマスク 𝛾 を用いて上位 M 個の特徴を選択する。
• 全結合ネットワークや畳み込みニューラルネットワーク（CNN）を含む、任意の微分可能なモデルと互換性がある。
• 2段階の訓練プロセスを採用：まずマスクの安定化を図るウォームアップフェーズを実施し、その後、固定されたハイパーパrameter（例：重み減衰 5e-4、70 エポック）で統合学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 1 ステップでエンドツーエンドに最適化できる手法が、ニューラルネットワーク学習において高い精度と制御可能な特徴数を同時に達成できるか。
• RQ2 計算効率と性能の観点から、提案手法が再帰的または反復的手法と比較してどう異なるか。
• RQ3 特徴数に硬い上限を課すことで、精度を損なわず一般化性能やモデルの解釈性が向上するか。
• RQ4 画像データや高次元の生物学的データを含む多様なデータタイプに、この手法が効果的に適用可能か。
• RQ5 二値マスクの微分可能緩和化が収束性および特徴選択の安定性にどのように影響するか。

主な発見

• E2E-FS-Soft は、Fashion-MNIST、CIFAR-10、CIFAR-100 で最先端の精度を達成し、全特徴数において DFS や SFS、iSFS、SFS+DFS を上回った。
• CIFAR-10 では、392 個の特徴で 93.68% の精度を達成し、次善の手法（SFS+DFS が 92.59%）と比較して 1.3% の向上を示した。
• CIFAR-100 では、1536 個の特徴で 70.30% の精度を達成し、DFS（67.42%）や SFS+DFS（64.94%）を 5% 以上上回った。
• CIFAR-100 における訓練時間は約 4180 秒にまで短縮され、iSFS（約 39 時間）や SFS+DFS（7260 秒）と比較して顕著に高速化された。
• 低特徴数の場合に性能向上が顕著に現れた：CIFAR-100 で 153 個の特徴を選択した際、29% の改善が得られた。
• MNIST のようなバイナリデータセットでは、DFS よりも性能が劣ったことから、データタイプの特性に感受性を示す可能性があることが示唆された。