[논문 리뷰] Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks

Zahra Atashgahi, Xuhao Zhang외 6명|arXiv (Cornell University)|2023. 03. 10.

Neural Networks and Applications인용 수 5

한 줄 요약

NeuroFS는 훈련 중에 희박한 신경망에서 동적 뉴런 프루닝과 재생을 사용하여 정보가 풍부한 입력 특징을 진화시키는 자원 효율적인 지도형 특징 선택 방법이다. 11개의 실세계 데이터셋에서 최신 기술 수준의 순위 성능를 달성하면서도, 밀집 신경망 기반 기준 대비 계산 비용과 메모리 비용을 크게 감소시킨다.

ABSTRACT

Feature selection that selects an informative subset of variables from data not only enhances the model interpretability and performance but also alleviates the resource demands. Recently, there has been growing attention on feature selection using neural networks. However, existing methods usually suffer from high computational costs when applied to high-dimensional datasets. In this paper, inspired by evolution processes, we propose a novel resource-efficient supervised feature selection method using sparse neural networks, named \enquote{NeuroFS}. By gradually pruning the uninformative features from the input layer of a sparse neural network trained from scratch, NeuroFS derives an informative subset of features efficiently. By performing several experiments on $11$ low and high-dimensional real-world benchmarks of different types, we demonstrate that NeuroFS achieves the highest ranking-based score among the considered state-of-the-art supervised feature selection models. The code is available on GitHub.

연구 동기 및 목표

• 고차원 데이터셋에서 신경망 기반 특징 선택의 높은 계산 비용과 메모리 비용을 해결하기 위해.
• 동적 입력층 뉴런 진화를 활용한 희박한 신경망을 통해 임bedded 특징 선택의 효율성을 향상시키기 위해.
• 특징 선택 정확도를 유지하면서도 FLOPs와 파라미터를 극적으로 줄일 수 있는 방법을 개발하기 위해.
• 낮은 차원과 고차원 실세계 벤치마크에서 뛰어난 성능과 강인성을 입증하기 위해.

제안 방법

• Ne로FS는 예측 손실에 기여도가 높은 입력층 뉴런의 기여도를 바탕으로 동적 프루닝과 재생을 통해 희박한 신경망을 처음부터 훈련시킨다.
• 이 방법은 정보가 적은 입력 뉴런을 점진적으로 제거하고 기울기 기반 중요도 점수에 따라 재생하는 뉴런 진화 과정을 도입한다.
• 희박성은 입력층의 목표 희박 수준을 결정하는 하이퍼파라미터 ε를 통해 제어된다.
• 입력층 뉴런 갱신 비율 ζ_in은 훈련 중 뉴런 갱신의 빈도와 범위를 제어한다.
• 훈련 안정성을 유지하면서도 입력 표현을 진화시키는 기초가 되는 미분 가능한 프루닝 전략을 사용한다.
• 특징 선택은 훈련 후 활성화된 입력 뉴런의 최종 집합에서 유도되며, 이는 가장 정보가 풍부한 특징을 나타낸다.

Figure 1 : Overview of “NeuroFS” . At initialization, a sparse MLP is initialized (Section 3.2.1 ). During training, at each training epoch, after standard feed-forward and back-propagation, input and hidden layers are updated such that a large fraction of unimportant input neurons are gradually dro

실험 결과

연구 질문

• RQ1 희박한 신경망에서의 동적 뉴런 진화가 계산 비용을 줄이면서도 특징 선택 성능을 향상시킬 수 있는가?
• RQ2 NeuroFS는 최신 기술 수준의 신경망 기반 특징 선택 방법들과 비교해 정확도와 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 프루닝 지속 시간, 희박 수준, 갱신 빈도와 같은 하이퍼파라미터가 특징 선택 품질에 어떤 영향을 미치는가?
• RQ4 NeuroFS는 다양한 샘플 수를 가진 저차원 및 고차원 데이터셋에서 강인한 성능을 유지하는가?

주요 결과

• NeuroFS는 11개의 실세계 벤치마크에서 비교된 최신 기술 수준의 특징 선택 방법들 중 평균 순위 기반 점수에서 가장 높은 성능를 기록했다.
• GLA-BRA-180(차원 수 d=180, 샘플 수 m=180)과 같은 고차원 데이터셋에서 NeuroFS는 순위 점수 1.0을 기록하여 모든 경쟁자들을 압도했다.
• 밀집 MLP 대비 FLOPs는 최대 95% 감소하고 파라미터 수는 최대 98% 감소시켰으며, GLA-BRA-180 데이터셋에서는 원래 파라미터 수의 3.18%만을 유지했다.
• 이 방법은 고차원 데이터셋에서 특히 효율적이었으며, GLA-BRA-180의 경우 FLOP 수치가 밀집 모델 대비 0.18×10^12로 낮아, 밀집 모델의 5.52×10^12에 비해 크게 감소했다.
• 대부분의 데이터셋에서 다양한 하이퍼파라미터 범위에서도 성능이 안정적이었지만, 고차원이면서 샘플 수가 적은 데이터셋은 희박 수준에 민감했다.
• 추론 실험을 통해 최적의 하이퍼파라미터로 α=0.65(뉴런 제거 지속 시간), ε=30(희박 수준), ζ_in=0.2(갱신 비율)를 선정했다.

(a)