[논문 리뷰] False Discoveries Occur Early on the Lasso Path

Weijie Su, Małgorzata Bogdan외 1명|arXiv (Cornell University)|2015. 11. 05.

Statistical Methods and Inference참고 문헌 28인용 수 17

한 줄 요약

이 논문은 독립적인 설계 행렬과 선형 희박성 조건 하에서 고차원 선형 모형에서 Lasso 경로가 조건이 무한히 강한 신호 대 잡음 비율과 상관관계가 없는 예측변수 조건에서도 조기 단계에 거짓 발견을 피할 수 없다는 것을 보여준다. 약간의 메시지 전달(AMP) 이론을 사용하여 저자들은 날카로운 渐近적 트레이드오프를 유도하며, 낮은 거짓 양성 및 거짓 음성 비율을 동시에 달성할 수 없다는 것을 입증함으로써, 희박성 제도 하에서 Lasso의 변수 선택에 내재된 본질적 한계를 드러낸다.

ABSTRACT

In regression settings where explanatory variables have very low correlations and there are relatively few effects, each of large magnitude, we expect the Lasso to find the important variables with few errors, if any. This paper shows that in a regime of linear sparsity---meaning that the fraction of variables with a non-vanishing effect tends to a constant, however small---this cannot really be the case, even when the design variables are stochastically independent. We demonstrate that true features and null features are always interspersed on the Lasso path, and that this phenomenon occurs no matter how strong the effect sizes are. We derive a sharp asymptotic trade-off between false and true positive rates or, equivalently, between measures of type I and type II errors along the Lasso path. This trade-off states that if we ever want to achieve a type II error (false negative rate) under a critical value, then anywhere on the Lasso path the type I error (false positive rate) will need to exceed a given threshold so that we can never have both errors at a low level at the same time. Our analysis uses tools from approximate message passing (AMP) theory as well as novel elements to deal with a possibly adaptive selection of the Lasso regularizing parameter.

연구 동기 및 목표

• 비제로 계수의 수가 예측변수의 수에 선형적으로 비례할 때 고차원 회귀에서 Lasso의 기본적 한계를 조사하는 것.
• 강한 신호와 상관관계가 없는 예측변수 조건에서 Lasso가 진정한 특징을 거의 오류 없이 신속하게 선택할 수 있다는 일반적인 믿음을 도전하는 것.
• 특히 변수 선택 과정에서 진짜 특징들과 영향이 없는 특징들이 어떻게 상호 교차하는지 분석하기 위해 선형 희박성 하에서 Lasso 경로의 행동을 분석하는 것.
• Lasso 경로에서 거짓 양성 및 거짓 음성 비율 사이의 날카로운 渐近적 트레이드오프를 수립하며, 신호 강도나 상관관계 구조와 무관하게 이를 도출하는 것.
• 독립적인 설계와 무한한 신호 대 잡음 비율의 이상적인 조건에서도, 계수의 수축으로 인해 Lasso 경로의 조기 단계에 거짓 발견이 피할 수 없다는 것을 보여주는 것.

제안 방법

• 독립적인 열을 가진 랜덤 설계 하에서 Lasso 경로의 渐近적 행동을 분석하기 위해 약간의 메시지 전달(AMP) 이론을 적용한다.
• Lasso 경로에서 유형 I(거짓 양성) 및 유형 II(거짓 음성) 오류 비율 사이의 날카로운 渐近적 트레이드오프를 도출한다.
• 유한한 표본 크기에서 잘못된 모델 선택 확률을 유계로 제한하기 위해 랜덤 행렬 이론 및 농도 부등식 도구를 사용한다.
• 정규화 파rameter λ가 감소함에 따라 변수가 모형에 들어오고 빠지는 순서를 추적함으로써 선택 경로를 분석한다.
• 정규화 파rameter λ의 적응적 선택을 고려하고, Lasso가 동시에 낮은 오류 비율을 달성하지 못하는 조건을 도출한다.
• 카이제곱 꼬리 경계와 측도 집중 이론을 활용하여 Lasso 해의 경로를 진짜 특징 기여도와 영향 없는 특징 기여도로 분해하는 새로운 방법을 적용한다.

실험 결과

연구 질문

• RQ1 예측변수가 상관관계가 없고 신호가 강력한 조건에서, Lasso가 경로에서 낮은 거짓 양성 및 거짓 음성 비율을 동시에 달성할 수 있는가?
• RQ2 선형 희박성 제도에서 Lasso 경로의 유형 I 및 유형 II 오류 사이의 기본적 트레이드오프는 무엇인가?
• RQ3 상관관계가 없고 무한한 신호 대 잡음 비율 조건에서도 Lasso 경로에서 거짓 발견이 조기에 나타나는 이유는 무엇인가?
• RQ4 계수의 수축은 Lasso 경로에서 거짓 발견이 조기에 나타나는 데 어떤 기여를 하는가?
• RQ5 조기 거짓 발견 현상은 설계의 상관관계 때문이냐, 선형 희박성 하에서 Lasso의 본질적 성질 때문인가?

주요 결과

• 선형 희박성 제도에서 비제로 계수의 비율이 일정으로 수렴할 경우, 설계 행렬의 열이 상호 독립적이고 신호 대 잡음 비율이 무한하더라도 Lasso 경로의 조기 단계에서 거짓 발견은 피할 수 없다.
• 거짓 양성 및 거짓 음성 비율 사이에 날카로운 渐近적 트레이드오프가 존재한다: 낮은 거짓 음성 비율을 달성하기 위해서는 거짓 양성 비율이 사라지지 않는 임계값을 초과해야 한다.
• 현상은 상관관계나 약한 신호 때문이 아니라, Lasso 내재의 수축으로 인해 영향 없는 특징이 진짜 특징보다 먼저 선택 경로에 들어오는 데 기인한다.
• 이상적인 조건—상관관계가 없는 설계, 무한한 신호 대 잡음 비율—에서도 Lasso는 계수의 정규화 경로의 구조로 인해 조기 단계의 거짓 발견을 피할 수 없다.
• 이론적 경계는 어떤 λ가 λ > 2σ² 및 λ > σ²δ/(cε) 를 만족할 경우, 비제로 계수의 수가 n에 선형적으로 증가할 때 Lasso 경로가 무시할 수 없는 거짓 발견 비율을 보임을 보여준다.
• 분석 결과 Lasso는 고차원 설정에서 선형 희박성 조건이 적용될 경우 주로 변수 걸러내기 도구로 간주되어야 하며, 모형 선택 도구로는 적합하지 않다는 것이 확인된다.