[논문 리뷰] Nonuniformity of P-values Can Occur Early in Diverging Dimensions

Yingying Fan, Emre Demirkaya외 1명|arXiv (Cornell University)|2017. 05. 10.

Advanced Statistical Methods and Models참고 문헌 17인용 수 14

한 줄 요약

이 논문은 일반선형모형(GLMs)에서 전통적인 p-값이 이전에 생각한 것보다 훨씬 이른 시점에 고차원 설정에서 비균일성과 무효성을 띠게 된다는 것을 보여준다. 특히 차원수 $ p $ 가 $ n^{2/3} $ 비례할 때, 단지 $ p \sim n $ 일 때만 아니라, 더 이른 시점에 발생한다. 저자들은 이론적 분석과 시뮬레이션을 통해 비선형 모형에서 최대우도추정량(MLE)의 점근적 정규성은 차원수가 증가함에 따라 붕괴되며, 이는 고차원 극한에서 내재된 분포 불일치로 인해 발생한다. 이는 가우시안 설계 조건 하에서도 마찬가지다.

ABSTRACT

Evaluating the joint significance of covariates is of fundamental importance in a wide range of applications. To this end, p-values are frequently employed and produced by algorithms that are powered by classical large-sample asymptotic theory. It is well known that the conventional p-values in Gaussian linear model are valid even when the dimensionality is a non-vanishing fraction of the sample size, but can break down when the design matrix becomes singular in higher dimensions or when the error distribution deviates from Gaussianity. A natural question is when the conventional p-values in generalized linear models become invalid in diverging dimensions. We establish that such a breakdown can occur early in nonlinear models. Our theoretical characterizations are confirmed by simulation studies.

연구 동기 및 목표

• 고차원에서 $ p \to \infty $ 이고 $ n \to \infty $ 일 때 일반선형모형(GLMs)에서 전통적인 p-값의 타당성을 조사하는 것.
• 비선형 모형(예: 로지스틱 회귀)에서 p-값 타당성 붕괴 시점이 선형 모형에서 알려진 $ p \sim n $ 보다 이르게 발생하는지 확인하는 것.
• 고차원에서 $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \geq 2/3 $ 일 때, GLMs에서 최대우도추정량(MLE)의 점근적 정규성이 붕괴됨을 공식적으로 증명하는 것.
• 고차원 설정에서 MLE 분산 추정량의 점근적 행동에 나타나는 모순을 랜덤 매트릭스 이론과 분포 항등식을 활용하여 해결하는 것.
• 특히 전통적 점근적 이론이 실패하는 비선형 설정에서 고차원 점근적 조건 하에서 GLMs의 p-값 비균일성에 대한 이론적 근거를 제공하는 것.

제안 방법

• 랜덤 매트릭스 이론(RMT)을 사용하여 $ n^{-1}\mathbf{X}^T\mathbf{X} $ 의 고유값 행동을 분석함으로써 고차원 설정 $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \in [2/3, 1) $ 일 때 GLMs에서 MLE의 점근적 분포를 이론적으로 분석하는 것.
• 로지스틱 회귀에서 전체 근본가설($ \boldsymbol{\beta}_0 = \mathbf{0} $) 하에서 MLE의 극한 분포를 유도하여, $ n^{1/2}\widehat{\beta}_j \to N(0,1) $ 이 성립하는 것은 $ p = o(n^{1/2}) $ 일 때만 성립하며, 그 이상은 성립하지 않는다는 것을 보여주는 것.
• 일반적인 비구형 설계를 i.i.d. 가우시안 설계($ \mathbf{X} \sim N(\mathbf{0}, I_n \otimes I_p) $) 경우로 줄이기 위해 $ \widetilde{\boldsymbol{\beta}} = \mathbf{\Sigma}^{1/2}\boldsymbol{\beta} $ 를 이용한 변수변환 기법을 사용하는 것.
• 분포 항등식과 농도 불등식을 적용하여, $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \geq 2/3 $ 일 때 MLE의 점근적 분산 추정량이 비일관성이 생기며, 이로 인해 p-값이 무효해지는 것을 보여주는 것.
• 모순에 의한 증명: $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \geq 2/3 $ 일 때 점근적 정규성이 유지된다고 가정하면, $ \mathbb{R}^p $ 내 분포 항등식을 위반하는 불일치하는 수렴 속도가 발생한다.
• 이론적 결과를 실증적으로 확인하기 위해 시뮬레이션 연구를 수행하여, $ p \sim n^{2/3} $ 일 때 p-값이 비균일하고 타입 I 오류 비율이 과대평가됨을 보여주는 것.

실험 결과

연구 질문

• RQ1 고차원에서 발산하는 차원수 조건 하에서 일반선형모형(GLMs)에서 전통적인 p-값이 어느 차원 수준에서 무효해지는가?
• RQ2 비선형 모형(예: 로지스틱 회귀)에서 p-값 타당성 붕괴가 선형 모형에서 알려진 $ p \sim n $ 보다 이르게 발생하는가?
• RQ3 고차원에서 $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \geq 2/3 $ 일 때, 가우시안 설계 조건 하에서도 GLMs에서 MLE의 점근적 정규성이 여전히 유효한가?
• RQ4 고차원 GLMs에서 전통적인 p-값의 실패 원인은 무엇인가? 특히 분산 추정량의 비일관성인지, 아니면 MLE의 점근적 정규성 붕괴인지?
• RQ5 고차원 점근적 조건 하에서 MLE 분산 추정량 수렴 속도의 모순을 공식적으로 해결할 수 있는가?

주요 결과

• GLMs에서 전통적인 p-값은 $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \geq 2/3 $ 일 때 비균일성과 무효성을 띠게 되며, 이는 가우시안 설계 조건과 전체 근본가설 하에서도 마찬가지다.
• MLE의 점근적 정규성 붕괴는 $ p \sim n^{2/3} $ 에서 발생하며, 이는 선형 모형에서 관찰된 $ p \sim n $ 이전에 발생한다.
• $ p \sim n^{\alpha_0} $ 이고 $ \alpha_0 \geq 2/3 $ 일 때, MLE 분산 추정량의 수렴 속도는 점점 사라지지 않으며, 이는 점근적 정규성의 조건을 위반한다.
• 이 모순은 불일치하는 수렴 속도에서 기인한다: 하나의 속도는 $ O_P(n^{-(1-\alpha_0)/2}) $ 이고 점점 사라지지만, 다른 하나는 $ O_P(n^{3\alpha_0/2 - 1}) $ 이며 발산한다. 이는 $ \mathbb{R}^p $ 내 분포 항등식을 위반한다.
• 시뮬레이션 연구는 $ p \sim n^{2/3} $ 일 때 p-값이 비균일하고 타입 I 오류 비율이 과대평가됨을 확인한다.
• 실패의 근본 원인은 설계 행렬이 i.i.d. 가우시안이더라도 고차원 극한에서 피셔 정보 행렬과 로그우도의 헤시안 간 내재된 불일치성에 기인한다.