[논문 리뷰] Probabilistic Best Subset Selection by Gradient-Based Optimization

Mingzhang Yin, Nhat Ho외 3명|arXiv (Cornell University)|2020. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 5

한 줄 요약

이 논문은 재포aram터화를 통해 이산적 변수 선택 문제를 연속적 확률적 프레임워크로 재구성함으로써 정확한 $L_0$-정규화 회귀(최적 부분집합 선택)를 위한 기울기 기반 최적화 방법을 제안한다. 비편향된 기울기 추정기(최적의 신호 대 잡음 비율을 가짐)를 도입하여 수천 개의 공변량에서 몇 초 내로 진짜 희소 모델을 빠르고 정확하게 복원할 수 있으며, 기존의 페널티 방법 및 정수혼합 최적화 방법보다 변수 선택 및 예측 성능 모두에서 뛰어난 성능을 보인다.

ABSTRACT

In high-dimensional statistics, variable selection is an optimization problem aiming to recover the latent sparse pattern from all possible covariate combinations. In this paper, we propose a novel optimization method to solve the exact $L_0$-regularized regression problem (a.k.a. best subset selection). We reformulate the optimization problem from a discrete space to a continuous one via probabilistic reparameterization. Within the framework of stochastic gradient descent, we propose a family of unbiased gradient estimators to optimize the $L_0$-regularized objective and a variational lower bound. Within this family, we identify the estimator with a non-vanishing signal-to-noise ratio and uniformly minimum variance. Theoretically, we study the general conditions under which the method is guaranteed to converge to the ground truth in expectation. In a wide variety of synthetic and semi-synthetic data sets, the proposed method outperforms existing variable selection methods that are based on penalized regression and mixed-integer optimization, in both sparse pattern recovery and out-of-sample prediction. Our method can find the true regression model from thousands of covariates in a couple of seconds. a

연구 동기 및 목표

• 기존 방법으로는 계산적으로 비가능한 고차원 회귀에서 정확한 최적 부분집합 선택 문제를 해결하기 위해.
• 이산적 $L_0$-정규화 최적화 문제를 기울기 기반 최적화에 적합한 연속적이고 미분 가능한 형태로 재구성하기 위해.
• 효율적 최적화를 위해 비편향된 기울기 추정기(일관된 최소 분산 및 소멸하지 않는 신호 대 잡음 비율)를 개발하기 위해.
• 일반 조건 하에서 참값으로의 이론적 수렴 보장을 확립하기 위해.
• 기존 방법과 비교하여 희소 패턴 복원 및 외부 샘플 예측 성능에서 뛰어난 성능을 경험적으로 입증하기 위해.

제안 방법

• 이산적 $L_0$-정규화 회귀 문제를 확률적 재포aram터화를 통해 이진 선택 변수를 연속 잠재 공간으로 매핑함으로써 재구성한다.
• 스토캐스틱 기울기 하강법(SGD)을 사용하여 $L_0$-정규화 목적 함수와 변분 하한을 모두 최적화한다.
• 재포aram터화된 목적 함수를 위한 비편향 기울기 추정기의 가족을 도입하며, 그 중 하나는 최적의 신호 대 잡음 비율과 최소 분산을 달성한다.
• 코나크리트 재포aram터화 또는 유사한 확률적 재포aram터화 기법을 통해 이진 선택 지표의 연속적 근사를 사용한다.
• 모델 부분집합에 대한 진짜 사후분포를 근사하기 위해 변분 하한을 최적화한다.
• 기울기 추정기가 비편향이면서 안정적인 학습을 위해 소멸하지 않는 신호 대 잡음 비율을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 이산적 $L_0$-정규화 문제의 연속적이고 미분 가능한 근사화가 기울기 하강법을 통해 효율적이고 정확한 최적 부분집합 선택을 가능하게 할 수 있는가?
• RQ2 제안된 가족 내 기울기 추정기 중에서 편향과 분산의 최적 균형을 이루며, 특히 소멸하지 않는 신호 대 잡음 비율을 가지는 것은 무엇인가?
• RQ3 어떤 일반 조건 하에서 이 방법이 기대값으로 참 희소 모델로 수렴하는가?
• RQ4 변수 선택 정확도 및 예측 성능 측면에서 이 방법은 페널티 회귀 및 정수혼합 최적화 방법과 어떻게 비교되는가?
• RQ5 이 방법은 수천 개의 공변량을 포함한 고차원 설정에서도 속도와 정확도를 유지하면서 확장 가능한가?

주요 결과

• 제안된 방법은 수천 개의 공변량으로부터 몇 초 내로 진짜 희소 회귀 모델을 복원하여 높은 계산 효율성을 입증한다.
• 합성 및 반합성 데이터셋에서 페널티 회귀 및 정수혼합 최적화 방법에 비해 희소 패턴 복원 성능에서 뛰어난 성능을 보였다.
• 외부 샘플 예측 정확도가 뛰어나 존재하는 접근법을 초월하는 예측 성능을 보였다.
• 이론적 분석을 통해 일반 조건 하에서 참값으로의 기대 수렴을 확립하여 일관성을 검증하였다.
• 식별된 기울기 추정기는 일관된 최소 분산과 소멸하지 않는 신호 대 잡음 비율을 가지며, 안정적인 최적화를 가능하게 하였다.
• 伝통적인 최적 부분집합 선택이 계산적으로 금기인 고차원 설정에서도 이 방법이 성공적으로 작동하였다.