[논문 리뷰] When is best subset selection the "best"?

Jianqing Fan, Yongyi Guo외 1명|arXiv (Cornell University)|2020. 07. 03.

Statistical Methods and Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 최적의 부분집합 선택(BSS)이 최적의 모델 복원을 달성하는 조건을 규명한다—특히 오라클 추정량을 도출하거나 확실한 걸러내기 성질을 달성할 때를 말한다. 이는 반복적 경계처리(IHT)가 근사적으로 최적인 희박 모델을 효율적으로 찾을 수 있음을 보여주며, 이 집합 내에서 두 번째 BSS 단계를 거치면 진짜 모델을 복원할 수 있다. 이는 시뮬레이션과 실제 데이터에서 LASSO, SCAD, SIS보다 더 낮은 거짓 발견률과 더 높은 참 양성률을 보인다.

ABSTRACT

Best subset selection (BSS) is fundamental in statistics and machine learning. Despite the intensive studies of it, the fundamental question of when BSS is truly the best, namely yielding the oracle estimator, remains partially answered. In this paper, we address this important issue by giving a weak sufficient condition and a strong necessary condition for BSS to exactly recover the true model. We also give a weak sufficient condition for BSS to achieve the sure screening property. On the optimization aspect, we find that the exact combinatorial minimizer for BSS is unnecessary: all the established statistical properties for the best subset carry over to any sparse model whose residual sum of squares is close enough to that of the best subset. In particular, we show that an iterative hard thresholding (IHT) algorithm can find a sparse subset with the sure screening property within logarithmic steps; another round of BSS within this set can recover the true model. The simulation studies and real data examples show that IHT yields lower false discovery rates and higher true positive rates than the competing approaches including LASSO, SCAD and SIS.

연구 동기 및 목표

• 최적의 부분집합 선택(BSS)이 정확히 진짜 모델을 복원할 수 있는 조건을 규명하는 것, 즉 오라클 성질을 달성하는 것.
• BSS가 진짜 모델을 도출하기 위한 약한 충분조건과 강한 필수조건을 설정하는 것.
• BSS가 확실한 걸러내기 성질을 달성하는 조건을 규명하는 것.
• BSS의 정확한 조합 최소화자가 통계적 최적성에 필수적인 것은 아님을 보여주는 것.
• 효율적인 이중단계 방법(즉, IHT와 BSS의 조합)을 제안하고 검증하여 모델 선택 성능을 향상시키는 것.

제안 방법

• BSS가 정확히 진짜 모델을 복원할 수 있도록 하는 약한 충분조건과 강한 필수조건을 유도하는 것.
• 임의의 희박 모델이 최적 부분집합의 잔차제곱합(RSS)과 가까운 RSS를 가지면 동일한 통계적 성질을 갖는다는 개념을 도입하는 것.
• 반복적 경계처리(IHT) 알고리즘을 제안하여 로그 단계 내에 확실한 걸러내기 성질을 갖는 희박 모델로 수렴하는 것.
• IHT가 선택한 모델에 대해 두 번째 BSS 단계를 적용하여 진짜 모델을 복원하는 것.
• 시뮬레이션 연구와 실제 데이터 사례를 통해 IHT-BSS가 LASSO, SCAD, SIS와 비교하여 거짓 발견률과 참 양성률 측면에서 어떻게 성능을 내는지 분석하는 것.
• RSS가 최적 값에 충분히 가까운 한, BSS의 통계적 성질이 유지됨을 보여주는 것.

실험 결과

연구 질문

• RQ1 최적의 부분집합 선택이 정확히 진짜 모델을 복원하는 조건은 무엇인가?
• RQ2 최적의 부분집합 선택이 확실한 걸러내기 성질을 달성하는 조건은 무엇인가?
• RQ3 BSS의 정확한 조합 최소화자가 최적의 통계적 성능을 위해 필수적인가?
• RQ4 반복적 경계처리(IHT)는 효율적으로 진짜 모델을 복원할 수 있는 모델 부분집합을 식별할 수 있는가?
• RQ5 IHT-BSS 이중단계 접근법은 LASSO, SCAD, SIS와 비교하여 거짓 발견률과 참 양성률 측면에서 어떻게 다른가?

주요 결과

• 최적의 부분집합 선택이 설계 행렬과 신호 강도에 대한 약한 충분조건를 만족할 경우 오라클 추정량을 달성한다.
• 정확한 모델 복원을 위한 강한 필수조건이 도출되어 BSS 성능의 이론적 경계를 제공한다.
• 확실한 걸러내기 성질을 위한 약한 충분조건가 확립되어 진짜 모델이 선택된 부분집합에 포함됨을 보장한다.
• BSS의 정확한 조합 최소화자가 필요하지 않다. 최적 부분집합의 RSS에 가까운 RSS를 갖는 임의의 희박 모델도 동일한 통계적 성질을 유지한다.
• 반복적 경계처리(IHT)는 로그 수준의 단계 내에 확실한 걸러내기 성질을 갖는 희박 모델을 찾을 수 있어 효율적인 모델 탐색이 가능하다.
• IHT-BSS 이중단계 방법은 시뮬레이션과 실제 데이터 응용 모두에서 LASSO, SCAD, SIS보다 더 낮은 거짓 발견률과 더 높은 참 양성률을 보인다.