[논문 리뷰] Feature Selection using Stochastic Gates

Yutaro Yamada, Ofir Lindenbaum외 2명|arXiv (Cornell University)|2018. 10. 09.

Statistical Methods and Inference참고 문헌 70인용 수 12

한 줄 요약

이 논문은 비선형 모델을 위한 새로운 임bedded 특성 선택 방법을 제안한다. 이 방법은 ℓ₀ 정규화를 근사하기 위해 베르누이 분포의 연속적 근사인 확률적 게이트(Stochastic Gates, STG)를 사용한다. 신경망의 입력층에 STG를 통합함으로써, 비선형 함수 학습과 관련 특성 선택을 동시에 수행할 수 있는 엔드 투 엔드 미분 가능한 학습이 가능해지며, 합성 및 실세계 데이터셋에서 LASSO, HC, DNC보다 예측 정확도와 특성 선택 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

Feature selection problems have been extensively studied for linear estimation, for instance, Lasso, but less emphasis has been placed on feature selection for non-linear functions. In this study, we propose a method for feature selection in high-dimensional non-linear function estimation problems. The new procedure is based on minimizing the $\ell_0$ norm of the vector of indicator variables that represent if a feature is selected or not. Our approach relies on the continuous relaxation of Bernoulli distributions, which allows our model to learn the parameters of the approximate Bernoulli distributions via gradient descent. This general framework simultaneously minimizes a loss function while selecting relevant features. Furthermore, we provide an information-theoretic justification of incorporating Bernoulli distribution into our approach and demonstrate the potential of the approach on synthetic and real-life applications.

연구 동기 및 목표

• 비선형 모델을 위한 효과적인 임베디드 특성 선택 방법의 부족, 특히 생물의학 데이터에서 흔한 고차원 설정에서의 문제를 해결하기 위해.
• ℓ₁ 정규화(예: LASSO)의 한계를 극복하기 위해, 비선형 맥락에서 입력층에서 희박성 유도에 실패하고 파rameter 압축 문제가 발생하는 문제를 해결하기 위해.
• 비선형 함수를 동시에 학습하고 최소한의 관련 특성 집합을 선택하는, 미분 가능하고 엔드 투 엔드 프레임워크를 개발하기 위해.
• 베르누이 분포의 부드러운 근사인 연속적 확률적 근사를 사용하여 정보이론적으로 정당화된 특성 선택의 비확률적 접근법을 제공하기 위해.
• 특성 간 상관관계와 낮은 표본 수 상황에서의 강건성과 일관성을 확보하기 위해, 전통적 방법이 종종 실패하는 조건에서도 우수한 성능을 보이도록 하기 위해.

제안 방법

• 이 방법은 베르누이 분포의 연속적 근사로 확률적 게이트(STG)를 도입하며, 평균 이동된 가우시안 변수의 하드-시그모이드 변환을 통해 미분 가능한 이진 게이트를 생성한다.
• 각 입력 특성은 확률적 게이트를 통해 곱해지며, 게이트의 활성화 확률은 학습 가능한 매개변수 μ_d에 의해 제어되어 기울기 기반 특성 포함 최적화가 가능해진다.
• ℓ₀ 노름은 활성 게이트의 기대값을 통해 근사되며, 정규화 항 λ가 희박성 수준을 제어하는 목적 함수에 포함된다.
• 이 프레임워크는 완전히 미분 가능하여 재구성 기법을 통해 확률적 게이트를 거쳐 역전파가 가능하며, 모델 가중치와 게이트 매개변수를 동시에 최적화할 수 있다.
• 이 방법은 회귀, 분류, 생존 분석 작업에 적용되며, 확률적 경사 하강법을 사용해 게이트 매개변수를 엔드 투 엔드로 학습한다.
• STG 근사는 특히 상관관계와 낮은 표본 수 조건에서 로지스틱 기반 근사보다 더 일관되고 정확한 특성 선택을 보여주며, 이는 성능상의 우월성을 입증한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 확률적인 ℓ₀ 노름의 근사가 딥 네이처럴 네트워크와 같은 비선형 모델에서 효과적인 특성 선택을 가능하게 할 수 있는가?
• RQ2 제안된 STG 기반 방법은 LASSO 및 기타 임베디드 방법과 비교해 예측 정확도와 특성 선택 희박성 측면에서 어떻게 성능을 내는가?
• RQ3 STG 프레임워크는 고차원 데이터에서 흔한 상관관계가 존재하는 상황에서도 강건성과 일관성을 유지하는가?
• RQ4 정확한 특성 수에 해당하는 정점에서 성능이 안정적으로 최고에 도달함으로써, 진정한 관련 특성 수를 명확히 나타내는가?
• RQ5 STG의 확률적 프레임워크는 정보이론적으로 특성 선택을 정당화할 수 있는가?

주요 결과

• 상관관계가 있는 특성과 함께 선형 회귀에서 STG는 LASSO, HC, DNC보다 더 적은 샘플 수로 진짜 지원을 회복하며, 상관관계 하에서 더 뛰어난 일관성을 보였다.
• 15개의 약한 관련 특성과 5개의 강한 관련 특성을 포함한 MADELON 데이터셋에서, STG는 정규화 파rameter λ의 넓은 범위에서 정밀도 1.0을 달성하여 유의미한 특성만 일관되게 선택함을 보였다.
• STG는 테스트 정확도 92.4%를 기록하여 LASSO(90.1%)를 초월하고 HC(91.7%)와 동등한 성능를 보였으며, 더 적은 특성 수를 선택함으로써 뛰어난 예측 성능와 함께 희박성도 확보했다.
• STG의 정점 분류 정확도는 정확히 5개의 특성이 선택되었을 때 발생하며, 이는 진짜 관련 특성 수를 명확히 나타내는 것으로, LASSO나 랜덤 포레스트는 이러한 명확한 신호를 제공하지 못한다.
• 생존 분석 작업에서 STG는 높은 성능와 희박성을 유지하며, 표준 분류 및 회귀 외의 일반화 능력을 입증했다.
• STG 방법은 여러 합성 및 실세계 데이터셋에서 HC, LASSO, DNC를 일관되게 뛰어넘었으며, 특히 낮은 표본 수 및 높은 상관관계 조건에서 뛰어난 성능를 보였다.