[논문 리뷰] Guarding from Spurious Discoveries in High Dimension

Jianqing Fan, Wen‐Xin Zhou|arXiv (Cornell University)|2015. 12. 05.

Statistical Methods and Inference참고 문헌 25인용 수 3

한 줄 요약

이 논문은 LAMM 알고리즘을 통해 계산되는 일반화된 최대 유사상관측도를 제안하여, 근본 모형 하에서 임의의 공변량 부분집합이 반응 변수를 얼마나 잘 맞출 수 있는지 정량화한다. 이 측도의 점근적 분포를 일반선형모형과 L1-회귀에 대해 유도함으로써, 고차원 데이터에서 유사 발견을 방지하기 위해 다중성 부트스트랩을 통한 일관된 기준 설정이 가능해진다.

ABSTRACT

Many data-mining and statistical machine learning algorithms have been developed to select a subset of covariates to associate with a response variable. Spurious discoveries can easily arise in high-dimensional data analysis due to enormous possibilities of such selections. How can we know statistically our discoveries better than those by chance? In this paper, we define a measure of goodness of spurious fit, which shows how good a response variable can be fitted by an optimally selected subset of covariates under the null model, and propose a simple and effective LAMM algorithm to compute it. It coincides with the maximum spurious correlation for linear models and can be regarded as a generalized maximum spurious correlation. We derive the asymptotic distribution of such goodness of spurious fit for generalized linear models and $L_1$-regression. Such an asymptotic distribution depends on the sample size, ambient dimension, the number of variables used in the fit, and the covariance information. It can be consistently estimated by multiplier bootstrapping and used as a benchmark to guard against spurious discoveries. It can also be applied to model selection, which considers only candidate models with goodness of fits better than those by spurious fits. The theory and method are convincingly illustrated by simulated examples and an application to the binary outcomes from German Neuroblastoma Trials.

연구 동기 및 목표

• 진행 중인 고차원 데이터 분석에서 수많은 공변량 선택이 실제로 예측 가능하지 않음에도 불구하고 예측 가능하게 보일 수 있는 흔한 문제를 다루기 위해.
• 진정한 관계가 존재하지 않을 때도 임의의 공변량 부분집합이 달성할 수 있는 최고의 적합도를 정량화하는 통계적으로 엄밀한 '유사적 적합도의 우수성' 측도를 정의하기 위해.
• 선형 모형을 초월하여 일반선형모형과 L1-정규화된 회귀로까지 일반화된 최대 유사상관측도를 효율적으로 계산할 수 있는 계산적으로 효율적인 방법(LAMM)을 개발하기 위해.
• 일반선형모형과 L1-회귀에서의 유사적 적합도의 점근적 분포를 표본 크기, 차원 수, 설계 공분산 구조에 따라 유도하기 위해.
• 모델 선택을 위해, 기준 유사적 적합도보다 유의미하게 높은 적합도를 보이지 않는 후보 모델을 거르는 방식으로, 잘못된 발견으로부터 보호하기 위해.

제안 방법

• 선형 모형을 초월하여 일반선형모형과 L1-정규화된 회귀로까지 확장된 '유사적 적합도의 우수성' 측도로서 일반화된 최대 유사상관측도를 제안한다.
• 근본 모형 하에서 최대 유사상관측도를 효율적으로 계산하기 위해 '라그랑주 보완 최적화 방법(Lagrangian Augmented Method for Maximization, LAMM)' 알고리즘을 도입한다.
• 표본 크기, 배경 차원 수, 사용된 공변량 수, 설계 공분산 행렬의 구조에 따라 의존하는, 유사적 적합도의 점근적 분포를 도출한다.
• 다중성 부트스트랩을 활용하여 점근적 분포를 일관되게 추정함으로써, 통계적 유의성 기준의 실용적 校정을 가능하게 한다.
• 모델 선택에 응용하기 위해, 유사적 적합도 기준을 초월하지 못하는 모델을 필터링함으로써, 잘못된 발견을 방지하는 기준을 설정한다.
• 시뮬레이션과 독일 신경blastoma 임상 시험의 이진 결과에 대한 실제 응용을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 진정한 관계가 존재하지 않을 때, 예측 변수와 반응 변수 사이에 어떤 관계도 없을 경우, 무작위 공변량 부분집합이 달성할 수 있는 최고의 적합도를 통계적으로 어떻게 정량화할 수 있는가?
• RQ2 고차원 설정 하에서 일반선형모형과 L1-회귀에서 최대 유사적 적합도의 점근적 분포는 무엇인가?
• RQ3 실제 추론에 활용하기 위해 다중성 부트스트랩을 사용하여 유사적 적합도의 점근적 분포를 일관되게 추정할 수 있는가?
• RQ4 유사적 적합도 기준을 어떻게 활용하여 잘못된 발견을 걸러내는 모델 선택을 개선할 수 있는가?
• RQ5 실제 고차원 데이터에서 유사 상관관계를 탐지하는 데 있어 제안된 방법의 실증적 성능는 어떠한가?

주요 결과

• 제안된 유사적 적합도의 우수성 측도는 선형 모형을 초월하여 일반선형모형과 L1-정규화된 회귀까지 확장하여 고차원 모델 평가에 통합된 프레임워크를 제공한다.
• 유사적 적합도의 점근적 분포는 표본 크기, 배경 차원 수, 적합에 사용된 공변량 수, 설계 공분산 행렬의 구조에 따라 영향을 받는다.
• 다중성 부트스트랩을 통해 점근적 분포를 일관되게 추정할 수 있어 실용적 구현과 추론이 가능하다.
• 유사적 적합도 분포에서 유도된 기준은 통계적 임계값을 설정하여 잘못된 발견으로부터 효과적으로 보호한다.
• 시뮬레이션과 독일 신경blastoma 임상 시험 데이터에 대한 응용을 통해, 이 방법이 고차원 설정에서 진정한 신호와 유사 상관관계를 효과적으로 구분할 수 있음을 보여준다.
• LAMM 알고리즘은 최대 유사상관측도를 효율적으로 계산하여, 이 방법이 확장 가능하고 실제 데이터 분석에 적용 가능한 것을 보여준다.