[논문 리뷰] Best-Subset Selection in Generalized Linear Models: A Fast and Consistent Algorithm via Splicing Technique

Junxian Zhu, Jin Zhu외 4명|arXiv (Cornell University)|2023. 08. 01.

Bayesian Modeling and Causal InferenceComputer Science인용 수 3

한 줄 요약

이 논문은 일반화선형모형(GLMs)에서 최적부집합 선택을 위한 빠르고 일致된 알고리즘인 ABESS를 제안한다. 이는 모든 가능한 부분집합을 전수 조사하는 것을 피하기 위해 연결 기법을 사용한다. 미묘한 조건 하에서 다항시간 복잡도와 정확한 지원 회복을 달성하며, 기존 방법보다 계산 속도와 통계적 정확도에서 뛰어나며, glmnet와 ncvreg보다 최대 4배 빠른 성능을 보인다.

ABSTRACT

In high-dimensional generalized linear models, it is crucial to identify a sparse model that adequately accounts for response variation. Although the best subset section has been widely regarded as the Holy Grail of problems of this type, achieving either computational efficiency or statistical guarantees is challenging. In this article, we intend to surmount this obstacle by utilizing a fast algorithm to select the best subset with high certainty. We proposed and illustrated an algorithm for best subset recovery in regularity conditions. Under mild conditions, the computational complexity of our algorithm scales polynomially with sample size and dimension. In addition to demonstrating the statistical properties of our method, extensive numerical experiments reveal that it outperforms existing methods for variable selection and coefficient estimation. The runtime analysis shows that our implementation achieves approximately a fourfold speedup compared to popular variable selection toolkits like glmnet and ncvreg.

연구 동기 및 목표

• 고차원 GLMs에서 최적부집합 선택의 계산 비가역성과 통계적 일치성 부족 문제를 해결하기 위해.
• 미묘한 정규성 조건 하에서 정확한 지원 회복을 달성하고 다항시간 복잡도를 갖는 알고리즘을 개발하기 위해.
• 기존의 완화 기반 방법(예: LASSO, SCAD, MCP)보다 변수 선택 정확도와 계수 추정에서 뛰어난 성능을 내기 위해.
• 로지스틱 회귀 및 포아송 회귀를 포함한 GLMs에서 지원 회복 일치성과 계산 효율성에 대한 이론적 보장을 수립하기 위해.
• 실제 데이터 과학 응용을 위한 실용적이고 오픈소스로 제공되는 구현(abess)을 제공하기 위해.

제안 방법

• ABESS 알고리즘은 변수 집합을 병합하고 잘라내는 방식으로 반복적으로 후보 부분집합을 구성하는 연결 기법을 사용하여 모든 가능한 부분집합을 전수 조사하는 것을 피한다.
• 카루시-쿠른-터커(KKT) 조건에 기반한 걸러내기 규칙을 도입하여 검색 과정 초반에 관련 없는 변수를 조기에 식별하고 제거한다.
• 동적 잘라내기 기반 순차적 전진 선택 프레임워크를 활용하여 계산 효율성을 확보한다.
• 이론적 분석을 통해 알고리즘이 미묘한 정규성 조건(예: 하중수 꼬리 가정 포함) 하에서 높은 확률로 지원 회복 일치성을 달성함을 입증한다.
• 계산 복잡도는 샘플 크기 $ n $ 과 차원 $ p $ 에 대해 다항식적으로 증가함을 증명한 제3정리에서 밝혀졌다.
• 이 방법은 R과 파이썬을 통해 오픈소스 abess 패키지를 통해 구현되어 있으며, 널리 재현 가능하고 응용 가능하다.

실험 결과

연구 질문

• RQ1 GLMs를 위한 최적부집합 선택 알고리즘이 고차원 환경에서 계산 효율성과 통계적 일치성을 동시에 달성할 수 있는가?
• RQ2 연결 기반 접근법이 비정규 분포의 반응 변수에 대해서도 정확한 지원 회복과 다항시간 복잡도를 달성할 수 있는가?
• RQ3 제안된 ABESS 알고리즘이 LASSO, SCAD, MCP와 같은 완화 기반 방법과 비교해 변수 선택 정확도와 추정 오차 측면에서 어떻게 성능을 내는가?
• RQ4 다양한 상관관계 구조에서 ABESS의 경험적 런타임 성능은 glmnet와 ncvreg와 같은 최첨단 툴킷과 비교해 어떻게 되는가?
• RQ5 ABESS의 이론적 보장은 정규분포가 아닌 비-서브가우시안 반응 가족(예: 포아송 또는 이항 GLMs)으로 확장될 수 있는가?

주요 결과

• ABESS는 $ ext{Pr}( ilde{m{eta}} = m{eta}^*) o 1 $ 로서 $ n o ty $ 가 되면서 높은 확률로 정확한 지원 회복을 달성한다. 이는 일정 상관관계를 가진 경우에도 성립한다.
• 알고리즘은 런타임에서 glmnet와 ncvreg보다 최대 4배 빠른 성능을 보이며, 특히 로지스틱 회귀 및 포아송 회귀 환경에서 두드러진다.
• $ n = 3000 $ 일 때, ABESS는 LASSO, SCAD, MCP를 모두 능가하는 최고의 정확한 선택 확률 $ ext{Pr}( ilde{m{eta}} = m{eta}^*) $ 를 달성한다.
• ABESS의 $ ilde{L}_2 $-노름 추정 오차(ReErr)는 모든 샘플 크기에서 일관되게 가장 낮아, 뛰어난 계수 추정 정확도를 보여준다.
• 이론적 분석을 통해 하중수 꼬리 가정 하에서 다항시간 복잡도와 지원 회복 일치성을 확인하였으며, 이는 서브가우시안 모델을 초월한다.
• 경험적 결과는 ABESS가 독립적 및 일정 상관관계를 포함한 다양한 상관관계 구조에서 뛰어난 성능을 유지하지만, 경쟁자들은 고상관관계 하에서 성능이 저하됨을 보여준다.