[논문 리뷰] Bolasso: model consistent Lasso estimation through the bootstrap

Francis Bach|ArXiv.org|2008. 04. 08.

Statistical Methods and Inference참고 문헌 12인용 수 38

한 줄 요약

이 논문은 고차원 선형 회귀에서 일致적인 변수 선택을 위한 Lasso를 향상시킨 부트스트랩 기반 방법인 Bolasso를 제안한다. 여러 부트스트랩 표본에서의 Lasso 추정치의 지지집합을 교차시켜, 상관관계로 인해 표준 Lasso가 실패할 경우에도 모형 일관성을 달성한다. 표본 크기가 증가함에 따라 정확한 모형 선택 확률은 지수적으로 1에 수렴한다.

ABSTRACT

We consider the least-square linear regression problem with regularization by the l1-norm, a problem usually referred to as the Lasso. In this paper, we present a detailed asymptotic analysis of model consistency of the Lasso. For various decays of the regularization parameter, we compute asymptotic equivalents of the probability of correct model selection (i.e., variable selection). For a specific rate decay, we show that the Lasso selects all the variables that should enter the model with probability tending to one exponentially fast, while it selects all other variables with strictly positive probability. We show that this property implies that if we run the Lasso for several bootstrapped replications of a given sample, then intersecting the supports of the Lasso bootstrap estimates leads to consistent model selection. This novel variable selection algorithm, referred to as the Bolasso, is compared favorably to other linear regression methods on synthetic data and datasets from the UCI machine learning repository.

연구 동기 및 목표

• 예측 변수 간 상관관계가 높을 경우 표준 Lasso가 모형 일관성을 확보하지 못하는 한계를 해결하기 위해.
• 특정 정규화 파rameter 감쇠 비율 하에서 Lasso의 변수 선택 성능의 점근적 행동을 분석하기 위해.
• 부트스트랩 재표본을 활용하여 모형 선택 신뢰도를 향상시키는 새로운 일관된 변수 선택 절차를 개발하기 위해.
• 다양한 부트스트랩 Lasso 추정치의 지지집합을 교차시켜 일관된 모형 추정치를 도출할 수 있는지 검증하기 위해.

제안 방법

• 원본 데이터셋에서 추출한 다수의 부트스트랩 표본에 대해 Lasso를 적용한다.
• 각 부트스트랩 표본에 대해 Lasso 해를 구하고, 각각의 비영계수 항목 집합(지지집합)을 수집한다.
• 최종 모형은 모든 부트스트랩 Lasso 추정치의 지지집합의 교차로 얻어지며, 모든 반복에서 일관되게 선택된 변수들만 유지된다.
• 이론적 분석에 따르면, 정규화 파ram터 감쇠 비율이 $ n^{-1/2} $일 경우, Lasso는 모든 관련 변수를 선택할 확률이 지수적으로 1에 수렴한다.
• 이 방법은 모형 일관성이 입증된다: 표본 크기가 증가함에 따라 지지집합의 교차는 확률 1로 진짜 모형으로 수렴한다.
• 이 접근법은 공통된 선택 기반 조합 방식으로 구성되며, 모든 부트스트랩 반복에서 선택된 변수들만 유지되어 가짜 양성 결과가 제거된다.

실험 결과

연구 질문

• RQ1 표준 Lasso가 고차원 선형 회귀에서 어떤 조건에서 모형 일관성을 달성하는가?
• RQ2 정규화 파ram터 감쇠 비율이 무엇이면 Lasso가 모든 관련 변수를 선택할 확률이 지수적으로 1에 수렴하는가?
• RQ3 예측 변수 상관관계로 인해 표준 Lasso가 실패할 경우, 부트스트랩 재표본을 활용해 일관된 모형 선택 절차를 구성할 수 있는가?
• RQ4 다수의 부트스트랩 Lasso 추정치의 지지집합을 교차시켜 일관된 모형 추정치를 도출할 수 있는가?
• RQ5 제안된 방법은 비표준 조건(예: 비표준성 조건 또는 낮은 상관관계) 없이도 일관된 변수 선택을 달성할 수 있는가?

주요 결과

• 정규화 파aram터 감쇠 비율이 $ n^{-1/2} $일 경우, Lasso는 모든 관련 변수를 선택할 확률이 지수적으로 1에 수렴하며 모형 일관성을 달성한다.
• 동일한 감쇠 비율 하에서 Lasso는 부적절한 변수를 선택할 확률이 엄밀히 양수이므로, 부트스트랩 표본 간 교차를 통해 이를 제거할 수 있다.
• 부트스트랩 Lasso 추정치의 지지집합을 교차하는 Bolasso 방법은 비표준성 조건을 요구하지 않으며 모형 일관성을 달성한다.
• 약한 모멘트 및 지지집합 가정 하에 표본 크기 $ n $ 이 증가함에 따라 Bolasso가 정확한 모형을 선택할 확률은 지수적으로 1에 수렴한다.
• 합성 데이터 및 UCI 기계학습 데이터셋에서 표준 Lasso 및 기타 정규화 방법보다 우수한 성능를 보이며, 특히 높은 상관관계 설정에서 뛰어난 성능를 나타낸다.
• 이론적 분석은 지지집합의 교차가 가짜 양성 결과를 제거하면서도 모든 진짜 변수를 유지하는 이유가 관련 변수를 놓칠 확률이 지수적으로 감소하기 때문임을 확인한다.