[논문 리뷰] Deep Feature Screening: Feature Selection for Ultra High-Dimensional Data via Deep Neural Networks

Kexuan Li, Fangfang Wang외 2명|arXiv (Cornell University)|2022. 04. 04.

Face and Expression Recognition인용 수 8

한 줄 요약

이 논문은 초고차원, 저표본 크기 데이터를 위한 두 단계, 모델에 종속되지 않는 방법인 딥 피처 스크리닝(DeepFS)을 제안한다. DeepFS는 표현 학습을 위해 딥 오토인코더를 사용하고, 특징 스크리닝을 위해 다변량 순위 거리 상관계수를 활용한다. DeepFS는 다양한 데이터셋에서 기존 방법들보다 뛰어난 특징 선택 정확도와 재구성 성능를 기록하며, 분류 및 재구성 작업 모두에서 우수한 성능를 보이며 하이퍼파rameter 선택에 대해 강건하다.

ABSTRACT

The applications of traditional statistical feature selection methods to high-dimension, low sample-size data often struggle and encounter challenging problems, such as overfitting, curse of dimensionality, computational infeasibility, and strong model assumption. In this paper, we propose a novel two-step nonparametric approach called Deep Feature Screening (DeepFS) that can overcome these problems and identify significant features with high precision for ultra high-dimensional, low-sample-size data. This approach first extracts a low-dimensional representation of input data and then applies feature screening based on multivariate rank distance correlation recently developed by Deb and Sen (2021). This approach combines the strengths of both deep neural networks and feature screening, and thereby has the following appealing features in addition to its ability of handling ultra high-dimensional data with small number of samples: (1) it is model free and distribution free; (2) it can be used for both supervised and unsupervised feature selection; and (3) it is capable of recovering the original input data. The superiority of DeepFS is demonstrated via extensive simulation studies and real data analyses.

연구 동기 및 목표

• 과도한 피팅, 계산 불가능성, 강한 파rametric 가정 등 기존 특징 선택 방법의 한계를 해결하기 위해 초고차원, 저표본 크기 데이터에서의 문제를 해결한다.
• 비모형 기반 및 분포 기반 접근 방식을 통해 비선형 관계와 특징 간 상호작용을 포착하는 모델에 종속되지 않는 방법을 개발한다.
• 통합된 프레임워크 내에서 지도 및 비지도 특징 선택을 가능하게 한다.
• 선택된 특징들로부터 원래 입력 데이터를 재구성할 수 있도록 보장하여 데이터 무결성을 유지한다.
• 실제 응용 분야인 유전체학 및 생물의학 데이터 분석에 적합한 확장성 있고 강건한 솔루션을 제공하며 최소한의 튜닝으로 운영 가능하도록 한다.

제안 방법

• 고차원 입력 데이터로부터 저차원 잠재 표현을 추출하기 위해 딥 오토인코더(또는 지도형 오토인코더)를 사용한다.
• 각 원래 특징과 인코딩된 표현 간의 다변량 순위 거리 상관계수를 적용하여 특징 중요도를 평가한다.
• 가장 높은 순위 거리 상관계수 점수를 가진 특징들을 가장 정보가 풍부한 특징으로 선별한다.
• 원래 입력 공간에서 직접 특징 선택을 수행함으로써 해석 가능성과 데이터 재구성 능력을 유지한다.
• 선택된 특징들에서 분류 및 재구성 성능를 평가하기 위해 ReLU 활성화 함수를 사용하는 단일층 피드포워드 신경망을 사용한다.
• 잠재 차원 $ h $ 에 대한 민감도 분석을 수행하여 하이퍼파rameter 선택에 대한 방법의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 딥 신경망 기반 특징 추출 방법과 비모수적 스크리닝을 조합하면 초고차원, 저표본 크기 데이터에서 특징 선택 성능를 향상시킬 수 있는가?
• RQ2 DeepFS는 기존의 고전적 및 딥러닝 기반 특징 선택 방법과 비교해 분류 정확도와 재구성 오차 측면에서 어떻게 성능를 발휘하는가?
• RQ3 DeepFS는 오토인코더의 잠재 차원 $ h $ 의 변화에 얼마나 강건한가?
• RQ4 DeepFS는 특정한 파라미터 모형을 가정하지 않고 지도 및 비지도 특징 선택을 효과적으로 수행할 수 있는가?
• RQ5 DeepFS는 선택된 특징들로부터 원래 데이터를 재구성할 능력을 유지하는가? 그리고 이는 성능에 어떤 영향을 미치는가?

주요 결과

• DeepFS는 네 가지 실세계 데이터셋 전반에서 고전적 방법(예: ISIS, PLasso)과 딥러닝 기반 대안(예: FsNet, LassoNet)보다 분류 정확도에서 뛰어난 성능를 보이며, 선택된 특징 수 $ k $ 가 작을수록 두드러진다.
• DeepFS는 모든 데이터셋에서 모든 방법들 중 가장 낮은 재구성 오차를 기록하여 선택된 특징들을 사용할 때 데이터의 구조를 효과적으로 유지함을 보여준다.
• 잠재 차원 $ h $ 의 선택에 대해 높은 강건성을 보이며, $ h = 5, 10, 15 $ 일 때의 분류 정확도 곡선이 $ k $ 의 다양한 값에서 거의 구분되지 않을 정도로 유사하다.
• DeepFS는 지도 및 비지도 설정 모두에서 높은 성능를 유지하여 다양한 학습 환경에서의 유연성을 확인한다.
• 다변량 순위 거리 상관계수의 사용은 특징 간 비선형성 및 상호작용 효과를 효과적으로 탐지할 수 있게 하여 선택 정확도를 향상시킨다.
• DeepFS는 소수의 특징만으로도 원래 데이터를 정확하게 재구성할 수 있으며, 이는 후속 분석 및 해석 가능성에 매우 중요하다.