[논문 리뷰] Guarding against Spurious Discoveries in High Dimensions

Jianqing Fan, Wen‐Xin Zhou|PubMed|2015. 12. 05.

Statistical Methods and Inference참고 문헌 1인용 수 6

한 줄 요약

이 논문은 고차원 변수 선택 결과가 무작위 선택보다 통계적으로 더 나은지 평가하기 위해 일반화된 최대 유사상관측도 측도인 유사적 적합도의 정도(GOSF)를 도입한다. GOSF를 계산하기 위해 LAMM 알고리즘을 제안하고, 일반선형모형과 $L_1$ 회귀에서의 점근적 분포를 도출함으로써 모형 선택 및 유사 발견 제어를 위한 다중성 부트스트랩 기반 일관된 기준 설정이 가능해진다.

ABSTRACT

Many data-mining and statistical machine learning algorithms have been developed to select a subset of covariates to associate with a response variable. Spurious discoveries can easily arise in high-dimensional data analysis due to enormous possibilities of such selections. How can we know statistically our discoveries better than those by chance? In this paper, we define a measure of goodness of spurious fit, which shows how good a response variable can be fitted by an optimally selected subset of covariates under the null model, and propose a simple and effective LAMM algorithm to compute it. It coincides with the maximum spurious correlation for linear models and can be regarded as a generalized maximum spurious correlation. We derive the asymptotic distribution of such goodness of spurious fit for generalized linear models and <i>L</i>₁-regression. Such an asymptotic distribution depends on the sample size, ambient dimension, the number of variables used in the fit, and the covariance information. It can be consistently estimated by multiplier bootstrapping and used as a benchmark to guard against spurious discoveries. It can also be applied to model selection, which considers only candidate models with goodness of fits better than those by spurious fits. The theory and method are convincingly illustrated by simulated examples and an application to the binary outcomes from German Neuroblastoma Trials.

연구 동기 및 목표

• 선택된 공변량이 진정한 연관성이 없을 때에도 우연의 일치로 예측 가능해 보일 수 있는 고차원 변수 선택에서의 유사 발견 문제를 해결하기 위해.
• 진정한 연관성이 없을 때 어떤 공변량 조합이라도 달성 가능한 최고의 적합도를 수치화하는 엄밀한 통계적 기준인 유사적 적합도의 정도(GOSF)를 정의하기 위해.
• 선형 모형을 초월해 일반선형모형과 $L_1$ 회귀로 최대 유사상관측도 개념을 확장하기 위해.
• 표본 크기, 임베딩 차원, 모형 크기, 설계 공분산 구조에 따라 의존하는 GOSF의 점근적 분포를 도출하기 위해.
• 모형 선택에서 유사적 적합도를 제거하기 위해 실용적이고 일관된 방법으로 GOSF 분포를 추정하는 방법을 제공하기 위해.

제안 방법

• 모형의 근본 원인이 없을 때 어떤 $s$-공변량 부분집합이라도 달성 가능한 최대 우도비 통계량을 측정하기 위해 유사적 적합도의 정도(GOSF)를 제안한다.
• 모형의 근본 원인이 없을 때 모든 $s$-공변량 부분집합에 대해 최적화를 수행함으로써 GOSF를 효율적으로 계산하기 위해 LAMM 알고리즘을 도입한다.
• 비점근적 조건부 버전의 윌크스 정리(conditional version of the Wilks theorem)를 사용하여 일반선형모형과 $L_1$ 회귀에서 GOSF의 점근적 분포를 도출한다.
• 정규성 조건 하에서 모든 $s$-부분집합에 대해 초과 로그우도의 제곱근과 정규화된 스코어 노름이 균일하게 가까워짐을 증명한다.
• 초과 로그우도의 근을 근사하기 위해 정규화된 스코어 $\widehat{\boldsymbol{\xi}}_S$를 대체로 사용하며, 그 $\ell_2$-노름이 GOSF를 근사한다.
• 다중성 부트스트랩을 적용하여 GOSF의 점근적 분포를 일관되게 추정함으로써 실제 모형 적합도의 통계적 유의성에 대한 경험적 기준 설정이 가능해진다.

실험 결과

연구 질문

• RQ1 모든 공변량이 반응 변수와 진정으로 독립일 때, 반응 변수가 진정한 연관성이 없더라도 어떤 공변량 부분집합을 통해 달성할 수 있는 최고의 적합도를 어떻게 공식적으로 측정할 수 있는가?
• RQ2 고차원 설정 하에서 일반선형모형과 $L_1$ 회귀에서 최대 유사적 적합도의 점근적 분포는 무엇인가?
• RQ3 실제로 유사적 적합도의 정도(GOSF)는 일관되게 추정될 수 있는가? 만약 그렇다면, 모형 선택의 기준으로서의 활용이 가능한가?
• RQ4 GOSF 분포는 표본 크기, 임베딩 차원, 모형 크기와 같은 핵심 설계 파라미터에 어떻게 의존하는가?
• RQ5 제안된 방법은 고차원 데이터 분석에서 잘못된 발견을 어느 정도 방지할 수 있는가?

주요 결과

• 유사적 적합도의 정도(GOSF)의 점근적 분포는 표본 크기 $n$, 임베딩 차원 $p$, 모형 내 변수 수 $s$, 그리고 설계 행렬의 공분산 구조에 따라 달라진다.
• 다중성 부트스트랩을 통해 GOSF 분포를 일관되게 추정할 수 있으며, 이는 고차원 모형 선택에서 통계적 유의성의 경험적 校정을 가능하게 한다.
• LAMM 알고리즘은 모든 $s$-공변량 부분집합에 대해 최적화를 수행함으로써 GOSF를 효율적으로 계산하며, 정규성 조건 하에서 이론적 보장을 제공한다.
• 정규화된 스코어 $\widehat{\boldsymbol{\xi}}_S$는 모든 $s$-부분집합에 대해 초과 로그우도의 제곱근을 고확률적으로 근사한다.
• $\|\widehat{\boldsymbol{\xi}}_S\|_2$와 $\|\boldsymbol{\xi}_S\|_2$ 사이의 근사 오차에 대한 이론적 경계는 $O(s \log(pn) / n^{1/2})$의 순서이며, 이는 고차원에서의 강건성을 보장한다.
• 모의 데이터에서 방법의 유효성을 검증하고 독일 신경절종양 임상시험의 이진 결과에 적용하여 실제 고차원 환경에서의 실용성을 입증했다.