[논문 리뷰] Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low

Rahul Mazumder, Peter Radchenko외 1명|arXiv (Cornell University)|2017. 08. 10.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 저신호대잡음비(SNR) 환경에서 기존의 최적 부분집합 선택법이 과적합되는 문제를 해결하기 위해, 최적 부분집합 선택법과 수축을 조합한 정규화된 부분집합 선택 방법을 제안한다. 이 방법은 혼합정수이차원형태최적화 문제로 공식화되어 있으며, 고잡음 환경에서 라소, 리지 회귀 및 기타 희박 방법보다 더 희박한 모델과 더 높은 예측 정확도를 달성한다.

ABSTRACT

We study a seemingly unexpected and relatively less understood overfitting aspect of a fundamental tool in sparse linear modeling - best subset selection, which minimizes the residual sum of squares subject to a constraint on the number of nonzero coefficients. While the best subset selection procedure is often perceived as the "gold standard" in sparse learning when the signal to noise ratio (SNR) is high, its predictive performance deteriorates when the SNR is low. In particular, it is outperformed by continuous shrinkage methods, such as ridge regression and the Lasso. We investigate the behavior of best subset selection in the high-noise regimes and propose an alternative approach based on a regularized version of the least-squares criterion. Our proposed estimators (a) mitigate, to a large extent, the poor predictive performance of best subset selection in the high-noise regimes; and (b) perform favorably, while generally delivering substantially sparser models, relative to the best predictive models available via ridge regression and the Lasso. We conduct an extensive theoretical analysis of the predictive properties of the proposed approach and provide justification for its superior predictive performance relative to best subset selection when the noise-level is high. Our estimators can be expressed as solutions to mixed integer second order conic optimization problems and, hence, are amenable to modern computational tools from mathematical optimization.

연구 동기 및 목표

• 저 SNR 환경에서 최적 부분집합 선택법이 과적합되는 문제로 인해 예측 성능이 떨어지는 이유를 다스리며, 이는 이론적으로는 유리하지만 실질적으로는 성능이 열 劣하는 이유를 해결한다.
• 고잡음 환경에서 최적 부분집합 선택법이 실패하는 이유를 분석하며, 특히 계수 수축의 부재와 특징 선택의 불안정성 때문임을 규명한다.
• 부분집합 선택과 수축을 통합한 정규화된 추정기 개발을 통해 고잡음 환경에서 더 나은 편향-분산 트레이드오프를 달성한다.
• 제안된 방법이 라소와 리지 회귀보다 훨씬 더 희박한 모델을 생성하면서도 예측 정확도를 유지하거나 향상시킴을 입증한다.
• 제안된 방법이 고잡음 수준에서 최적 부분집합 선택법보다 성능 향상을 보이는 데 이르는 이론적 근거를 제공한다.

제안 방법

• 모델 크기에 대한 $\ell_0$-노름 제약 조건과 계수에 대한 이차 수축 페널티를 조합한 정규화된 최소제곱 기준을 제안한다.
• 추정기를 혼합정수이차형태최적화 문제로 공식화하여 현대 MIO 솔버를 통해 전역 최적화를 가능하게 한다.
• 이중단계 접근법을 사용한다: 먼저 $\ell_0$-제약 최적화를 통해 특징의 부분집합을 선별하고, 그 다음 선별된 특징의 계수에 대해 수축을 적용한다.
• 페널티 함수에 조정 가능한 페널티 파라미터 $q$를 도입한다 (예: $q=2$)를 통해 희박성과 예측성 사이의 탄력적인 트레이드오프를 가능하게 한다.
• 혼합정수최적화 분야의 최근 발전을 활용하여 조합 최적화 문제를 증명 가능한 전역 최적해로 해결함으로써 이전의 계산적 장벽을 극복한다.
• 현대 솔버와 호환되는 최적화 프레임워크를 사용하여 실제 및 합성 데이터셋에 대한 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 저 SNR 환경에서는 최적 부분집합 선택법이 골드 스탠다드로 여겨지지만 여전히 성능이 열 劣하는가?
• RQ2 왜 고잡음 환경에서 계수 수축의 부재가 최적 부분집합 선택법의 과적합을 유발하는가?
• RQ3 수축을 통합한 정규화된 최적 부분집합 선택법이 라소, 리지 회귀와 같은 연속 수축 방법보다 저 SNR 환경에서 더 나은 성능을 낼 수 있는가?
• RQ4 최신 희박 모델들인 Mnet, AEN, 리라크스 라소와 비교해 제안된 방법이 희박성과 예측 정확도 사이의 균형을 어떻게 유지하는가?
• RQ5 고잡음, 저 SNR 상황에서 제안된 추정기의 향상된 예측 성능을 뒷받침하는 이론적 성질은 무엇인가?

주요 결과

• 저 SNR 환경에서 제안된 방법은 예측 오차 측면에서 최적 부분집합 선택법보다 뚜렷이 뛰어나며, 특히 고잡음 환경에서 두드러진 성능 향상을 보인다.
• 제안된 방법은 라소와 리지 회귀보다 훨씬 더 희박한 모델을 생성하면서도 예측 정확도를 유지하거나 향상시킨다.
• 실제 데이터셋(Triazine, Riboflavin, Leukemia, Rat)에서 제안된 방법은 라소, 리라크스 라소, Mnet, AEN, SSL보다 낮은 예측 오차와 더 적은 비영계수를 기록했다.
• 제안된 방법은 다양한 SNR 수준에서 안정적인 성능을 보이며, SNR가 2 이하로 떨어질 경우 예측 정확도가 지속적으로 향상된다.
• 이론적 분석 결과, 제안된 추정기는 고잡음 환경에서 선택된 계수의 통제된 수축 덕분에 최적 부분집합 선택법보다 더 나은 편향-분산 트레이드오프를 달성한다.
• 실험 결과는 순수 $\ell_0$ 선택이 너무나 희박한 모델을 생성함으로써 과소적합을 유도하는 반면, 제안된 $\ell_0 + \ell_2$-수축 접근법이 희박성과 예측 능력 사이의 더 나은 균형을 이룬다.