[논문 리뷰] On the Peaking Phenomenon of the Lasso in Model Selection

Nicole Kraemer|ArXiv.org|2009. 04. 28.

Statistical Methods and Inference참고 문헌 4인용 수 7

한 줄 요약

이 논문은 lars R 패키지의 잘못된 페널티 파rameterization로 인해 Lasso 모델 선택에서 n/p = 1 비율에서 임의의 성능 피크가 발생하는 것을 규명한다. 교차검증을 통한 최소제곱 norm을 사용하는 정규화된 Lasso 페널티를 제안하여 피크를 제거함으로써 관측수 대 변수수 비율 전역에서 테스트 오차의 안정성을 크게 향상시킨다.

ABSTRACT

I briefly report on some unexpected results that I obtained when optimizing the model parameters of the Lasso. In simulations with varying observations-to-variables ratio n=p, I typically observe a strong peak in the test error curve at the transition point n/p = 1. This peaking phenomenon is well-documented in scenarios that involve the inversion of the sample covariance matrix, and as I illustrate in this note, it is also the source of the peak for the Lasso. The key problem is the parametrization of the Lasso penalty (as e.g. in the current R package lars) and I present a solution in terms of a normalized Lasso parameter.

연구 동기 및 목표

• n/p = 1 전이점에서 발생하는 예상치 못한 성능 저하의 원인을 조사한다.
• 근본 원인이 Lasso 페널티의 파arameterization에 있으며, 이는 Lasso 추정치와 OLS 추정치의 ℓ₁-norm 비율에 기반한다.
• 이 잘못된 파arameterization이 n_cv = p일 때 교차검증 결과의 일관성 없음을 초래함을 보여준다.
• 다양한 n/p 비율에서 모델 선택을 안정화시키기 위해 페널티 파aram터의 정규화 기법을 제안한다.
• 시뮬레이션을 통해 테스트 오차 감소와 더 일관된 페널티 선택을 보여줌으로써 솔루션을 검증한다.

제안 방법

• p = 90개 변수, 20개 비영성분, 신호 대 잡음 비율 = 4를 가진 시뮬레이션 데이터를 생성하고, n = 10에서 200개의 관측치를 생성한다.
• R의 cv.lars 함수를 사용해 10중 교차검증을 수행하여 Lasso 페널티 파aram터 s = ||β_lasso||₁ / ||β_ols||₁를 선택한다.
• n_cv ≈ p일 때 s_cv의 편향을 보정하기 위해 정규화된 페널티 파aram터 ŝ = (ℓ₁,ols_cv / ℓ₁,ols) × s_cv를 도입한다.
• 표준 lars 기반 Lasso와 정규화된 버전(mylars) 간의 테스트 오차와 페널티 선택을 비교한다.
• n과 n_cv가 변화할 때 OLS 및 Lasso 추정치의 ℓ₁-노름 행동을 분석하고, 고차원 설정에서 Moore-Penrose 역행렬의 영향으로 인한 불안정성을 연결한다.
• 재시뮬레이션을 수행하고 기존 방법과 정규화된 방법 간의 테스트 오차 및 페널티 곡선을 비교함으로써 정규화의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 왜 n/p = 1 비율에서 Lasso는 성능 향상이 일반적으로 예상되는 바와는 달리 뚜렷한 테스트 오차 피크를 보이는가?
• RQ2 lars R 패키지의 현재 Lasso 페널티 파arameterization이 이 피크 현상에 어떻게 기여하는가?
• RQ3 n_cv = p일 때 최소제곱 추정치의 불안정성이 교차검증에서 어떤 역할을 하는가?
• RQ4 교차검증 기반 OLS 노름을 사용한 페널티 파aram터 정규화가 이 피크 효과를 완화시킬 수 있는가?
• RQ5 제안된 정규화는 다양한 n/p 비율에서 더 안정적이고 정확한 모델 선택을 이끌 수 있는가?

주요 결과

• Lasso 페널티의 파arameterization 방식이 Lasso와 OLS 추정치의 ℓ₁-노름 비율에 기반함에 따라 n/p = 1에서 뚜렷한 테스트 오차 피크가 발생한다.
• 피크가 발생하는 이유는 n_cv = p일 때 OLS 추정치의 ℓ₁-노름이 매우 작아지면서 교차검증에서 페널티 파aram터 s가 극적으로 과소평가되기 때문이다.
• 정규화된 페널티 파aram터 ŝ = (ℓ₁,ols_cv / ℓ₁,ols) × s_cv는 이 편향을 효과적으로 보정하고 테스트 오차 피크를 제거한다.
• 정규화된 Lasso는 n/p가 증가함에 따라 테스트 오차가 단조 감소하는 경향을 보이며, 이는 이론적 기대와 일치한다.
• 페널티 파aram터 s의 피크가 정확히 n = p에서 발생하는 것은 아니며, 교차검증 폴드에서 n_cv = p일 때 발생함을 확인함으로써 OLS의 불안정성이 모델 선택에 미치는 영향을 입증한다.
• 제안된 정규화는 계산적으로 효율적이며, 기존의 lars 기반 구현에 대해 계수 재추정 없이 직접 적용 가능하다.