[논문 리뷰] Deep supervised feature selection using Stochastic Gates.

Yutaro Yamada, Ofir Lindenbaum외 2명|arXiv (Cornell University)|2018. 10. 09.

Statistical Methods and Inference참고 문헌 37인용 수 1

한 줄 요약

이 논문은 비선형 함수를 동시에 학습하면서 관련 특징을 선택할 수 있도록 확률적 게이트를 사용하는 딥 감독 특징 선택 방법을 제안한다. $β$-베르누이 분포를 연속적 근사화를 통해 완화함으로써, 미분 가능 게이트를 통한 기울기 기반 최적화를 가능하게 하여 고차원 비선형 설정에서 효과적인 $β$-노름 최소화를 달성하며, 이는 이론적 및 실증적 검증을 통해 입증된다.

ABSTRACT

Feature selection problems have been extensively studied for linear estimation, for instance, Lasso, but less emphasis has been placed on feature selection for non-linear functions. In this study, we propose a method for feature selection in high-dimensional non-linear function estimation problems. The new procedure is based on minimizing the $\ell_0$ norm of the vector of indicator variables that represent if a feature is selected or not. Our approach relies on the continuous relaxation of Bernoulli distributions, which allows our model to learn the parameters of the approximate Bernoulli distributions via gradient descent. This general framework simultaneously minimizes a loss function while selecting relevant features. Furthermore, we provide an information-theoretic justification of incorporating Bernoulli distribution into our approach and demonstrate the potential of the approach on synthetic and real-life applications.

연구 동기 및 목표

• 특히 라소와 같은 선형 모델을 초월한 비선형 함수 추정을 위한 효과적인 특징 선택 방법의 부족을 해결한다.
• 비선형 설정에서 예측 손실과 특징 선택을 동시에 최적화하는 미분 가능하고 종단 간(end-to-end) 프레임워크를 개발한다.
• 특징 포함 여부를 나타내는 지시 변수의 연속적 근사화를 통해 특징 중요도 학습을 가능하게 한다.
• 정보 이론적 근거를 바탕으로 한 베르누이 분포의 사용에 대한 이론적 기반을 제공한다.

제안 방법

• 각 특징이 선택되었는지 여부를 나타내는 지시 변수의 $β$-노름 최소화로 특징 선택을 공식화한다.
• 선택 지시 변수의 연속적 근사화를 사용하여 이들이 미분 가능하게 만들며, 기울기 하강법을 적용할 수 있도록 한다.
• 각 특징의 포함 확률을 확률적 게이트 메커니즘에 의해 매개변수화된 학습 가능한 게이트로 모델링한다.
• 재구성 기법을 사용하여 확률적 게이트를 통해 역전파를 수행함으로써 모델을 종단 간으로 훈련한다.
• 게이트 출력을 네트워크 아키텍처에 통합하여, 선택된 특징들만 최종 예측에 기여하도록 한다.
• 특징 중요도와 모델 복잡도의 정보 이론적 분석을 통해 베르누이 분포 사용의 타당성을 정당화한다.

실험 결과

연구 질문

• RQ1 특징 선택 지시 변수의 미분 가능하고 연속적인 근사화가 고차원 공간에서 효과적인 비선형 함수 추정을 가능하게 하는가?
• RQ2 베르누이 분포를 가진 게이트 변수를 도입함으로써 기존의 희박성 유도 방법에 비해 딥 모델에서 특징 선택 성능이 어떻게 향상되는가?
• RQ3 베르누이 근사화의 정보 이론적 정당화가 이 방법의 일반화 및 안정성에 어느 정도 기여하는가?
• RQ4 제안된 방법은 합성 및 실세계 비선형 데이터셋에서 기존의 특징 선택 기법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 예측 손실과 특징 선택을 동시에 최적화하는 딥 네트워크의 종단 간 훈련을 성공적으로 가능하게 한다.
• 베르누이 분포의 연속적 근사화를 통해 이산적 특징 선택 결정의 기울기 기반 최적화가 가능해지며, 지시 변수의 비가역성 문제를 해결한다.
• 정보 이론적 정당화는 특징 중요도를 모델링하고 모델 복잡도를 제어하는 데 베르누이 분포를 원칙적인 방법으로 사용하는 데 유용함을 뒷받침한다.
• 합성 및 실세계 데이터셋에서의 실증 결과는 이 방법이 비선형 설정에서 관련 특징을 효과적으로 식별할 수 있음을 보여준다.