[논문 리뷰] Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso

Trevor Hastie, Robert Tibshirani외 1명|arXiv (Cornell University)|2017. 07. 27.

Statistical Methods and Inference참고 문헌 20인용 수 163

한 줄 요약

베스트 서브셋 선택, 전방 스텝와이즈 선택, 그리고 랏소를 비교한 시뮬레이션을 확장했다; 방법들 간에 일관된 우위를 보이지 않으며, relaxed lasso를 강력한 성능으로 부각시키고, 고 SNR에서 서브셋 선택이 가장 정확하고 저 SNR에서 랏소가 더 잘 수행되는 경향을 보인다.

ABSTRACT

In exciting new work, Bertsimas et al. (2016) showed that the classical best subset selection problem in regression modeling can be formulated as a mixed integer optimization (MIO) problem. Using recent advances in MIO algorithms, they demonstrated that best subset selection can now be solved at much larger problem sizes that what was thought possible in the statistics community. They presented empirical comparisons of best subset selection with other popular variable selection procedures, in particular, the lasso and forward stepwise selection. Surprisingly (to us), their simulations suggested that best subset selection consistently outperformed both methods in terms of prediction accuracy. Here we present an expanded set of simulations to shed more light on these comparisons. The summary is roughly as follows: (a) neither best subset selection nor the lasso uniformly dominate the other, with best subset selection generally performing better in high signal-to-noise (SNR) ratio regimes, and the lasso better in low SNR regimes; (b) best subset selection and forward stepwise perform quite similarly throughout; (c) the relaxed lasso (actually, a simplified version of the original relaxed estimator defined in Meinshausen, 2007) is the overall winner, performing just about as well as the lasso in low SNR scenarios, and as well as best subset selection in high SNR scenarios.

연구 동기 및 목표

• 다양한 SNR, 예측자 상관, 희소성 패턴에 걸쳐 언제 베스트 서브셋 선택, 전방 스텝와이즈, 그리고 랏소가 서로를 능가하는지 평가한다.
• 더 넓은 시뮬레이션 설정에서 세 방법의 예측 정확도, 희소성, 계산 비용을 정량화한다.
• Relaxed lasso 변형을 도입하고 평가하며, 이를 표준 랏소 및 서브셋 기반 방법과 비교한다.

제안 방법

• 최적 부분집합 선택을 혼합 정수 최적화(MIO) 문제로 형식화하여 고급 해 탐색기(예: Gurobi)를 활용한다.
• n, p, 희소성 s, SNR ν, 예측자 상관 ρ를 변화시키며 랏소, relaxed lasso, 전방 스텝와이즈, 베스트 서브셋 선택을 비교하는 광범위한 시뮬레이션을 수행한다.
• 모든 방법에 대해 외부 검증으로 하이퍼파라미터를 조정하고 예측 성능 지표를 보고한다.
• 재현성을 위한 MIO 기반 베스트 서브셋 솔버 접근과 단계들을 제공하는 R 패키지(bestsubset)를 구현한다.
• hat-beta^{relax}(λ, γ) = γ hat-beta^{lasso}(λ) + (1−γ) hat-beta^{LS}}(λ) 를 정의한 relaxed lasso 추정기를 도입하고, 다른 방법에 비해 자유도와 공격성을 분석한다.
• 서브셋 경로에서 MIO 솔버의 k당 3분 제한을 포함하여 각 방법의 시간 예산을 포함한 계산 비용을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 SNR 구간과 예측자 상관에서 베스트 서브셋 선택, 전방 스텝와이즈 선택, 랏소의 예측 정확도가 서로를 어떻게 능가하는가?
• RQ2 Relaxed lasso가 축소와 희소성 사이의 견고한 중간 지대를 제공하는가, 그리고 그 복잡도는 다른 방법과 어떻게 비교되는가?
• RQ3 실용적 설정에서 MIO 기반 베스트 서브셋 선택과 빠른 볼록/탐욕적 방법 간의 계산 비용 차이가 무엇인가?
• RQ4 비볼록한 베스트 서브셋 및 전방 스텝와이즈 방법이 랏소를 능가하는 문제 설정은 무엇이고, 랏소가 지배하는 경우는 어디인가?
• RQ5 이전 연구에서 사용된 SNR 수준은 얼마나 현실적이며, 더 넓은 SNR 범위에서 결과는 어떻게 달라지는가?

주요 결과

• 베스트 서브셋 선택과 랏소는 서로를 일관되게 지배하지 않는다; 고 SNR에서 베스트 서브셋이 이기기 쉬운 반면, 랏소는 저 SNR에서 두드러진 성능을 보인다.
• 전방 스텝와이즈와 베스트 서브셋 선택은 많은 설정에서 상당히 비슷한 성능을 보인다.
• relaxed lasso가 종종 전체적으로 최상 성능을 보이며, 저 SNR 구간에서 랏소와 비슷하고 고 SNR 구간에서 베스트 서브셋에 근접한다.
• 베스트 서브셋과 전방 스텝와이즈의 공격적(자유도 높은) 특성은 낮은 k에서 분산이 커질 수 있는 반면, 랏소는 축소를 통해 예측의 안정성을 제공한다.
• SNR에 대한 현실적인 평가는 많은 실제 시나리오에서 일반적인 PVE(해당 문맥에서의 의미 있는 가치)가 완만하다고 시사하여 방법 선택에 영향을 준다.