[논문 리뷰] P-values for high-dimensional regression

Nicolai Meinshausen, Lukas Meier외 1명|ArXiv.org|2008. 11. 13.

Statistical Methods and Inference참고 문헌 19인용 수 37

한 줄 요약

이 논문은 고차원 선형 회귀에서 가족별 오류율(FWER) 및 위임 오류율(FDR) 제어를 위한 점차적 유효한 가족별 오류율(FWER)과 위임 오류율(FDR) 제어를 달성하기 위해 다수의 무작위 데이터 분할에서 p-값을 집계하는 다중분할 추론 방법을 제안한다. 여러 분할에서의 결과를 조합함으로써, 임의의 데이터 분할에 대한 민감도를 감소시키고 통계적 검정력(power)을 향상시키며, 단일 분할 방법에 비해 거짓 발견 수를 크게 줄인다.

ABSTRACT

Assigning significance in high-dimensional regression is challenging. Most computationally efficient selection algorithms cannot guard against inclusion of noise variables. Asymptotically valid p-values are not available. An exception is a recent proposal by Wasserman and Roeder (2008) which splits the data into two parts. The number of variables is then reduced to a manageable size using the first split, while classical variable selection techniques can be applied to the remaining variables, using the data from the second split. This yields asymptotic error control under minimal conditions. It involves, however, a one-time random split of the data. Results are sensitive to this arbitrary choice: it amounts to a `p-value lottery' and makes it difficult to reproduce results. Here, we show that inference across multiple random splits can be aggregated, while keeping asymptotic control over the inclusion of noise variables. We show that the resulting p-values can be used for control of both family-wise error (FWER) and false discovery rate (FDR). In addition, the proposed aggregation is shown to improve power while reducing the number of falsely selected variables substantially.

연구 동기 및 목표

• 임의의 데이터 분할으로 인한 고차원 회귀에서의 p-값의 불안정성과 낮은 재현 가능성 문제를 해결하기 위해.
• 다양한 무작위 데이터 분할에 걸쳐 결과를 집계하면서도 渐近적 오류 제어(FWER 및 FDR)를 유지하는 방법을 개발하기 위해.
• 단일 분할 방법에 비해 통계적 검정력과 거짓 발견 비율을 향상시키기 위해.
• Wasserman와 Roeder(2008)의 '스크리닝 및 청소' 프레임워크를 p ≫ n 인 고차원 설정에서도 유효한 추론이 가능하도록 확장하기 위해.

제안 방법

• 데이터를 독립적인 무작위 분할을 통해 학습(내측) 및 테스트(외측) 집합으로 나눈다.
• 각 분할에서, 예측 변수의 수를 다룰 수 있는 크기로 줄이기 위해 내측 데이터에 스크리닝 절차(예: Lasso)를 적용한다.
• 외측 데이터에서 일반 최소제곱법을 사용하여 계수를 추정하고 선택된 변수의 p-값을 계산한다.
• 각 분할에서의 p-값을 FWER 및 FDR 제어를 위해 분위수 기반 조정을 사용하여 집계한다.
• 선택 편향을 보완하기 위해 부트스트랩 기반 보정을 사용하며, 집계된 p-값의 渐近적 타당성을 확보한다.
• 다중 검정 하에서 오류 제어를 유지하기 위해 최종 p-값을 log(γ_min)를 포함한 요소로 조정한다.

실험 결과

연구 질문

• RQ1 p ≫ n 인 고차원 회귀 설정에서 기존의 추론이 실패하는 상황에서 p-값을 신뢰성 있게 계산할 수 있는가?
• RQ2 다양한 무작위 분할에서 데이터 분할을 어떻게 집계하여 재현 가능성을 높이고 'p-값의 운명' 효과를 줄일 수 있는가?
• RQ3 다중분할 접근을 통해 고차원 회귀에서 渐近적 FWER 및 FDR 제어를 달성할 수 있는가?
• RQ4 다중분할 방법이 단일분할 추론에 비해 통계적 검정력과 거짓 발견 비율을 향상시키는가?
• RQ5 저차원 설정(n > p)에서, 특히 예측 변수 간 상관계수가 높을 경우 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 다중분할 방법은 최소한의 규칙성 조건 하에서 FWER 및 FDR의 渐近적 제어를 달성한다.
• 단일분할 방법에 비해 잘못 선택된 변수의 수를 상당히 줄여 선택 정확도를 향상시킨다.
• 여러 데이터 분할에서의 정보 집계 덕분에 통계적 검정력이 증가한다.
• 예측 변수 수 p가 표본 크기 n을 크게 초과하는 경우에도 이 방법은 渐近적 타당성을 유지한다.
• n > p 설정에서는 여전히 경쟁력이 있으며, 특히 예측 변수 간 상관계수가 높을 경우 전통적인 오류 제어 방법보다 뛰어난 성능을 보인다.
• 이론적 분석을 통해 기대 FDR가 α와 조화수열 합의 곱으로 유계임을 확인하여, Benjamini-Hochberg 절차 하에서 FDR 제어가 보장됨을 입증한다.