[논문 리뷰] The Likelihood Ratio Test in High-Dimensional Logistic Regression Is Asymptotically a Rescaled Chi-Square

Pragya Sur, Yuxin Chen외 1명|arXiv (Cornell University)|2017. 06. 05.

Random Matrices and Applications인용 수 6

한 줄 요약

이 논문은 고차원 로지스틱 회귀에서 예측변수의 수 $ p $ 가 표본 크기 $ n $ 와 비할 만한 비율을 차지할 때 (즉, $ p/n \to \kappa < 1/2 $), 최대우도비검정(Likelihood Ratio Test, LRT) 통계량 $ 2\Lambda $ 가 표준 $ \chi^2_k $ 가 아니라 스케일링 인자 $ \alpha(\kappa) > 1 $ 가 적용된 재스케일링된 $ \chi^2_k $ 분포로 수렴함을 규명한다. 이는 윌크스의 정리(Wilks' theorem)를 무효화한다. 스케일링 인자 $ \alpha(\kappa) $ 는 유사차원비 $ \kappa $ 에 따라 달라지며, 논문은 이 값을 비선형 연립방정식을 통해 계산하는 방법을 제시하여, 표준 카이제곱 근사가 반신뢰성 있는 p-값을 초래하는 문제를 수정한다.

ABSTRACT

Logistic regression is used thousands of times a day to fit data, predict future outcomes, and assess the statistical significance of explanatory variables. When used for the purpose of statistical inference, logistic models produce p-values for the regression coefficients by using an approximation to the distribution of the likelihood-ratio test. Indeed, Wilks' theorem asserts that whenever we have a fixed number $p$ of variables, twice the log-likelihood ratio (LLR) $2\\Lambda$ is distributed as a $\\chi^2_k$ variable in the limit of large sample sizes $n$; here, $k$ is the number of variables being tested. In this paper, we prove that when $p$ is not negligible compared to $n$, Wilks' theorem does not hold and that the chi-square approximation is grossly incorrect; in fact, this approximation produces p-values that are far too small (under the null hypothesis). Assume that $n$ and $p$ grow large in such a way that $p/n\ ightarrow\\kappa$ for some constant $\\kappa &lt; 1/2$. We prove that for a class of logistic models, the LLR converges to a rescaled chi-square, namely, $2\\Lambda~\\stackrel{\\mathrm{d}}{\ ightarrow}~\\alpha(\\kappa)\\chi_k^2$, where the scaling factor $\\alpha(\\kappa)$ is greater than one as soon as the dimensionality ratio $\\kappa$ is positive. Hence, the LLR is larger than classically assumed. For instance, when $\\kappa=0.3$, $\\alpha(\\kappa)\\approx1.5$. In general, we show how to compute the scaling factor by solving a nonlinear system of two equations with two unknowns. Our mathematical arguments are involved and use techniques from approximate message passing theory, non-asymptotic random matrix theory and convex geometry. We also complement our mathematical study by showing that the new limiting distribution is accurate for finite sample sizes. Finally, all the results from this paper extend to some other regression models such as the probit regression model.

연구 동기 및 목표

• 표본 크기 $ n $ 과 비슷한 비율을 차지하는 예측변수의 수 $ p $ 를 가진 고차원 로지스틱 회귀에서 윌크스의 정리의 타당성을 조사하는 것.
• $ p/n \to \kappa < 1/2 $ 일 때 최대우도비검정(Likelihood Ratio Test, LRT) 통계량의 점근적 분포를 규명하는 것.
• 고차원에서의 반신뢰성 있는 추론을 초래하는 표준 카이제곱 근사가 잘못된 p-값을 초래하는 문제를 수정하는 것.
• 한계 분포를 특징짓는 스케일링 인자 $ \alpha(\kappa) $ 를 계산하는 방법을 제공하는 것.

제안 방법

• 고차원 로지스틱 모델에서 최대우도추정량의 행동을 분석하기 위해 근사 메시지 전달(AMP) 이론을 사용한다.
• 비점근적 난수행렬 이론 도구를 적용하여 LRT 통계량의 점근적 분포를 연구한다.
• 볼록 기하학 기법을 활용하여 매개변수 공간과 우도 표면의 기하학적 성질을 분석한다.
• 재스케일링된 카이제곱 분포의 스케일링 인자 $ \alpha(\kappa) $ 를 계산하기 위해 두 개의 미지수를 가진 비선형 연립방정식을 유도한다.
• 추정 오차를 제어하고 수렴 속도를 도출하기 위해 리브원트(leave-one-out) 분석과 농도 부등식을 수행한다.
• 유한 표본 시뮬레이션을 통해 이론적 결과를 검증하여, 중간 크기의 $ n $ 과 $ p $ 에서도 재스케일링된 카이제곱 근사가 정확함을 보였다.

실험 결과

연구 질문

• RQ1 로지스틱 회귀에서 예측변수의 수 $ p $ 가 표본 크기 $ n $ 와 비할 만한 비율을 차지할 때 윌크스의 정리가 성립하는가?
• RQ2 고차원 로지스틱 회귀에서 최대우도비검정 통계량 $ 2\Lambda $ 의 점근적 분포는 무엇인가?
• RQ3 카이제곱 분포를 재스케일링하는 데 사용되는 스케일링 인자 $ \alpha(\kappa) $ 는 차원비 $ \kappa = p/n $ 에 따라 어떻게 달라지는가?
• RQ4 표준 카이제곱 근사를 $ \alpha(\kappa) > 1 $ 인 재스케일링된 카이제곱 분포로 수정함으로써 p-값을 보정할 수 있는가?
• RQ5 제안된 한계 분포는 점근적일 뿐만 아니라 유한 표본 크기에서도 정확한가?

주요 결과

• 최대우도비검정 통계량 $ 2\Lambda $ 는 $ \kappa > 0 $ 일 때 항상 $ \alpha(\kappa) > 1 $ 인 재스케일링된 카이제곱 분포 $ \alpha(\kappa)\chi^2_k $ 로 수렴하며, 이는 표준 카이제곱 근사가 무효함을 의미한다.
• $ \kappa = 0.3 $ 일 때 스케일링 인자는 약 $ \alpha(0.3) \approx 1.5 $ 로, 이는 LRT 통계량이 표준 카이제곱 분포가 예측하는 것보다 약 50% 더 크다는 것을 의미한다.
• 스케일링 인자 $ \alpha(\kappa) $ 는 AMP 및 난수행렬 이론에서 유도된 두 개의 비선형 연립방정식을 풀어 계산된다.
• 표준 카이제곱 근사는 귀무가설 하에서 p-값을 너무 작게 산정하여 고차원 환경에서 반신뢰성 있는 추론을 초래한다.
• 시뮬레이션 연구를 통해 재스케일링된 카이제곱 근사는 조건이 유한한 표본 크기에서도 정확함을 확인하였다.
• 결과는 프로비트 회귀와 같은 다른 모델로도 확장 가능하여, 이 현상이 로지스틱 회귀에 국한되지 않음을 시사한다.