[論文レビュー] Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks

Zahra Atashgahi, Xuhao Zhang+6 more|arXiv (Cornell University)|Mar 10, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

NeuroFS は、スパースニューラルネットワークにおける動的ニューロン pruning および再生を用いて、学習中に情報量の多い入力特徴量を進化させる、リソース効率の高い教師あり特徴選択手法である。11個の実世界データセットにおいて最先端のランク付け性能を達成するとともに、密なニューラルネットワークベースラインと比較して計算コストとメモリコストを顕著に削減している。

ABSTRACT

Feature selection that selects an informative subset of variables from data not only enhances the model interpretability and performance but also alleviates the resource demands. Recently, there has been growing attention on feature selection using neural networks. However, existing methods usually suffer from high computational costs when applied to high-dimensional datasets. In this paper, inspired by evolution processes, we propose a novel resource-efficient supervised feature selection method using sparse neural networks, named \enquote{NeuroFS}. By gradually pruning the uninformative features from the input layer of a sparse neural network trained from scratch, NeuroFS derives an informative subset of features efficiently. By performing several experiments on $11$ low and high-dimensional real-world benchmarks of different types, we demonstrate that NeuroFS achieves the highest ranking-based score among the considered state-of-the-art supervised feature selection models. The code is available on GitHub.

研究の動機と目的

• 高次元データセットにおけるニューラルネットワークベースの特徴選択の高い計算コストとメモリコストを低減すること。
• 動的入力層ニューロン進化を活用したスパースニューラルネットワークを用いて、埋め込み型特徴選択の効率を向上させること。
• FLOPs とパラメータ数を大幅に削減しながらも、高い特徴選択精度を維持する手法を開発すること。
• 低次元および高次元の実世界ベンチマークにおいて、優れた性能と頑健性を示すことを実証すること。

提案手法

• NeuroFS は、予測損失への寄与度に基づいて、入力層のニューロンを動的に入れ替えながらスパースニューラルネットワークを訓練する。
• 本手法は、勾配に基づく重要度スコアを用いて、情報量の少ない入力ニューロンを段階的に削除し、再生成するニューロン進化プロセスを導入する。
• スパースネスはハイパーパrameter ε によって制御され、入力層のターゲットスパースネスレベルを決定する。
• 入力層ニューロンの更新頻度を制御するパラメータ ζ_in は、訓練中のニューロン更新の頻度と範囲を制御する。
• 訓練の安定性を保ちながら入力表現を進化させるため、微分可能(pruning)戦略を採用する。
• 特徴選択は、訓練終了後のアクティブな入力ニューロンの集合から導出され、これが最も情報量の多い特徴量を表す。

Figure 1 : Overview of “NeuroFS” . At initialization, a sparse MLP is initialized (Section 3.2.1 ). During training, at each training epoch, after standard feed-forward and back-propagation, input and hidden layers are updated such that a large fraction of unimportant input neurons are gradually dro

実験結果

リサーチクエスチョン

• RQ1 スパースニューラルネットワークにおける動的ニューロン進化は、計算コストを低減しつつ特徴選択性能を向上させることができるか？
• RQ2 NeuroFS は、最先端のニューラルネットワークベースの特徴選択手法と比較して、精度と効率の両面で優れているか？
• RQ3 pruning 時間、スパースネスレベル、更新頻度といったハイパーパrameter の影響は、特徴選択の品質にどのように現れるか？
• RQ4 NeuroFS は、サンプル数が異なる低次元および高次元データセットにおいても、頑健な性能を維持できるか？

主な発見

• 11個の実世界ベンチマークにおいて、NeuroFS はすべての比較対象となる最先端の特徴選択手法の中で最高の平均ランクスコアを達成した。
• GLA-BRA-180（d=180, m=180）のような高次元データセットにおいて、NeuroFS はスコア1.0を達成し、すべての競合手法を上回った。
• 密なMLPと比較して、NeuroFS はFLOPsを最大95%、パラメータ数を最大98%削減した。GLA-BRA-180データセットでは、元のパラメータ数の3.18%にまで削減された。
• 特に高次元データセットにおいて効率的であり、GLA-BRA-180ではFLOP数が0.18×10^12にまで低下したのに対し、密モデルでは5.52×10^12にのぼった。
• ほとんどのデータセットにおいて、幅広いハイパーパrameterの範囲で性能が安定しており、高次元でサンプル数が少ないデータセットはスパースネスレベルに敏感であった。
• アブレーションスタディに基づき、最適なハイパーパrameterは α=0.65（ニューロン削除時間）、ε=30（スパースネスレベル）、ζ_in=0.2（更新頻度）であった。

(a)