[논문 리뷰] Inference for feature selection using the Lasso with high-dimensional data

Kasper Brink‐Jensen, Claus Thorn Ekstrøm|arXiv (Cornell University)|2014. 03. 17.

Statistical Methods and Inference참고 문헌 17인용 수 9

한 줄 요약

이 논문은 고차원 설정에서(즉, p ≫ n) Lasso를 통한 특성 선택 결과에 대한 랜덤화 기반의 유의성 검정 절차를 제안한다. 이는 표본 크기보다 훨씬 많은 예측 변수가 존재하는 상황에서도 선택된 예측 변수에 대해 유효한 p-값을 제공할 수 있도록 한다. 이 방법은 가족별 오류율(Family-wise error rate)을 제어하며, 다양한 시뮬레이션 시나리오와 실제 데이터(예: 전립선암 데이터셋)에서 진정으로 연관된 예측 변수를 탐지하는 데 높은 검정력을 보인다.

ABSTRACT

Penalized regression models such as the Lasso have proved useful for variable selection in many fields - especially for situations with high-dimensional data where the numbers of predictors far exceeds the number of observations. These methods identify and rank variables of importance but do not generally provide any inference of the selected variables. Thus, the variables selected might be the "most important" but need not be significant. We propose a significance test for the selection found by the Lasso. We introduce a procedure that computes inference and p-values for features chosen by the Lasso. This method rephrases the null hypothesis and uses a randomization approach which ensures that the error rate is controlled even for small samples. We demonstrate the ability of the algorithm to compute $p$-values of the expected magnitude with simulated data using a multitude of scenarios that involve various effects strengths and correlation between predictors. The algorithm is also applied to a prostate cancer dataset that has been analyzed in recent papers on the subject. The proposed method is found to provide a powerful way to make inference for feature selection even for small samples and when the number of predictors are several orders of magnitude larger than the number of observations. The algorithm is implemented in the MESS package in R and is freely available.

연구 동기 및 목표

• 고차원 데이터에서 p ≫ n 조건에서 Lasso에 의해 선택된 특성에 대한 공식적인 추론(예: p-값)의 부재를 해결하기 위해.
• 작은 표본 크기이지만 엄청나게 많은 예측 변수 집합이 존재하는 상황에서도 가족별 오류율을 제어할 수 있는 방법을 개발하기 위해.
• 연구자들이 OLS로 결과를 이관하는 대신, Lasso에 의해 선택된 특성의 통계적 유의성을 직접 평가할 수 있도록 하기 위해.
• Lasso에 국한되지 않고, 어떤 희박 정규화 방법에도 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.
• 유전자체계학 및 기타 분야에서 가설 생성을 지원하기 위해 변수 선택을 통해 식별된 특성에 유의성 부여하기 위해.

제안 방법

• 개별 계수를 검정하는 대신, 선택된 예측 변수 중 어떤 것이 진정으로 반응 변수와 연관되어 있는지를 검정할 수 있는 귀무가설을 재정의한다.
• 반응 변수와 관련이 없는 것으로 가정할 때, Lasso 선택의 귀무분포를 생성하기 위해 랜덤화/재표본화 접근법을 사용한다.
• 각 선택된 특성에 대해, 랜덤화된 데이터셋에서의 선택 빈도를 관측된 선택 빈도와 비교하여 p-값을 계산한다.
• 선택 편향이 Lasso에 내재되어 있음에도 불구하고, p ≫ n 조건에서 유의미한 유형 I 오류 제어를 유지할 수 있도록 설계되어 있다.
• 이 절차는 MESS R 패키지에 구현되어 있으며, 대규모 데이터에 대해 계산적으로 효율적이다.
• 선택 및 랜덤화 단계를 조정함으로써, Lasso 외에도 탄성넷, 릿지 등 다른 희박 정규화 방법에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 예측 변수 수 p가 관측 수 n보다 훨씬 클 때, Lasso에 의해 선택된 특성에 대해 유효한 p-값을 부여할 수 있는가?
• RQ2 제안된 랜덤화 기반 방법이 작은 표본 크기와 고차원 설정에서 가족별 오류율을 제어하는가?
• RQ3 다양한 상관 구조와 효과 크기 조건에서, 이 방법의 검정력은 기존 방법들(예: 공분산 검정, 분할 방법)과 비교해 어떻게 되는가?
• RQ4 예측 변수가 상관되어 있거나 진정으로 유의미한 예측 변수가 몇 개 뿐이더라도, 이 방법이 가장 중요한 예측 변수를 신뢰성 있게 식별할 수 있는가?
• RQ5 이 방법은 유전자체계학이나 전립선암 데이터 분석과 같은 실제 응용 분야에서 안정적이고 효과적인가?

주요 결과

• 제안된 방법은 관측 수가 50개뿐이어도 최대 250,000개의 예측 변수가 존재하는 상황에서도 진정으로 연관된 예측 변수를 탐지하는 데 매우 높은 통계적 검정력을 확보한다.
• 작은 표본 크기와 p ≫ n 조건에서도 이 방법은 가족별 오류율을 효과적으로 제어한다.
• 시뮬레이션 결과, 귀무가설 하에서 기대되는 크기의 p-값이 생성되어 적절한 校정(calibration)을 보였다.
• 전립선암 데이터셋에 적용한 결과, 이 방법은 lcavol을 유의미한 예측 변수로 성공적으로 식별했으며, 다른 방법과 일치하는 결과를 보였지만 더 강력한 귀무가설 덕분에 더 낮은 p-값을 기록했다.
• 특히 보조 예측 변수에 대해 분할 방법보다 p-값 정밀도가 뛰어나고, 상관된 예측 변수가 존재하는 조건에서도 안정적인 성능을 보였다.
• 관측 수가 30개로 감소하는 조건에서도 이 방법은 양호한 성능을 유지하여, 소표본 유전자체계학 연구에 실용적인 활용 가능성을 보였다.