[논문 리뷰] Homoscedasticity tests valid in both low and high-dimensional regressions

Zhaoyuan Li, Jianfeng Yao|arXiv (Cornell University)|2015. 10. 01.

Random Matrices and Applications참고 문헌 26인용 수 2

한 줄 요약

이 논문은 오차항의 분산이 일정하지 않을 경우를 다루는 두 가지 새로운 이종분산성 검정을 제안한다. 이 검정들은 귀무가설 하에서 자유도가 증가함에 따라 渐近적으로 정규분포를 따르며, 저차원 및 고차원 회귀 설정 모두를 다룰 수 있다. 이 검정들은 중간 및 고차원 설정에서 기존의 White 및 Breusch-Pagan 방법보다 더 뛰어난 검정력과 크기를 보이며 유효하다.

ABSTRACT

Testing heteroscedasticity of the errors is a major challenge in high-dimensional regressions where the number of covariates is large compared to the sample size. Traditional procedures such as the White and the Breusch-Pagan tests typically suffer from low sizes and powers. This paper proposes two new test procedures based on standard OLS residuals. Using the theory of random Haar orthogonal matrices, the asymptotic normality of both test statistics is obtained under the null when the degree of freedom tends to infinity. This encompasses both the classical low-dimensional setting where the number of variables is fixed while the sample size tends to infinity, and the proportional high-dimensional setting where these dimensions grow to infinity proportionally. These procedures thus offer a wide coverage of dimensions in applications. To our best knowledge, this is the first procedures in the literature for testing heteroscedasticity which are valid for medium and high-dimensional regressions. The superiority of our proposed tests over the existing methods are demonstrated by extensive simulations and by several real data analyses as well.

연구 동기 및 목표

• 표본 크기 대비 예측변수의 수가 많아지는 고차원 설정에서 White 및 Breusch-Pagan와 같은 전통적 이종분산성 검정의 열악한 성능을 해결하기 위해.
• 저차원 및 고차원 渐近적 설정 전반에서 타당한 크기와 높은 검정력을 유지하는 검정 절차를 개발하기 위해.
• 자유도가 무한대에 가까워질 때 귀무가설 하에서 검정통계량의 渐近적 정규성을 확립하기 위해.
• 표본 크기와 예측변수의 수가 비례적으로 증가하는 비례 고차원 설정에서도 유효한 통합 프레임워크를 제공하기 위해.
• 중간에서 고차원 회귀 맥락 전반에 걸쳐 공식적으로 유효한 첫 번째 이종분산성 검정을 제공하기 위해.

제안 방법

• 제안된 검정들은 일반선형제곱법(OLS) 잔차를 사용하여 귀무가설 하에서 渐近적으로 정규분포를 따르는 검정통계량을 구성한다.
• 이론적 근거는 무작위 Haar 직교행렬 이론에 기반하며, 검정통계량의 渐近적 분포를 도출한다.
• 자유도(예측변수의 수와 관련)가 무한대에 가까워질 때 검정통계량의 渐近적 정규성이 확립되며, 고정-p 및 비례-p 설정 모두를 포함한다.
• 검정통계량은 설계행렬의 차원성에 대해 강건하도록 구성되어 있어 고차원 회귀 상황에서도 적용 가능하다.
• 오차항에 대한 분포 가정은 두 번째 모멘트 이외에는 필요로 하지 않아 일반성을 높인다.
• 이 방법은 저차원 및 고차원 설정 전반에서 정확한 크기와 높은 검정력을 유지하도록 설계되었으며, p/n → c ∈ (0, ∞) 인 설정에서도 적용 가능하다.

실험 결과

연구 질문

• RQ1 p/n → c ∈ (0, ∞) 인 고차원 회귀 설정에서 타당한 크기와 높은 검정력을 유지하는 이종분산성 검정을 개발할 수 있는가?
• RQ2 예측변수의 수가 표본 크기와 함께 증가할 때, 오차항의 수가 증가함에 따라 귀무가설 하에서 이종분산성 검정통계량의 渐近적 정규성을 도출할 수 있는가?
• RQ3 제안된 검정들이 다양한 차원성 설정에서 White 및 Breusch-Pagan와 같은 전통적 방법보다 크기와 검정력 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 무작위 행렬 이론, 특히 Haar 직교행렬 이론을 활용하여 OLS 기반 이종분산성 검정의 渐近적 분포를 정당화할 수 있는가?
• RQ5 제안된 검정들이 저차원 및 고차원 회귀 프레임워크 전반에 걸쳐 공식적으로 유효한 첫 번째 검정인가?

주요 결과

• 자유도가 무한대에 가까워질 때 귀무가설 하에서 제안된 검정들은 渐近적으로 정규분포를 따르며, 저차원 및 고차원 渐近적 설정을 모두 커버한다.
• 표본 크기와 예측변수의 수가 비례적으로 무한대에 가까워지는 비례 고차원 설정에서도 검정이 유효하다.
• 광범위한 시뮬레이션 결과는 제안된 검정이 White 및 Breusch-Pagan와 같은 전통적 방법보다 다양한 차원성 설정에서 크기와 검정력 측면에서 뛰어나다는 것을 보여준다.
• 기존의 검정들이 심각한 크기 왜곡을 겪는 고차원 설정에서도 제안된 검정들은 타당한 크기를 유지한다.
• 실제 데이터 분석을 통한 결과는 제안된 검정이 기존 대안들보다 뛰어난 실증적 성능을 보임을 추가로 확인한다.
• 저자들이 알고 있는 바에 따르면, 이는 저차원 및 고차원 회귀 설정 전반에 걸쳐 공식적으로 유효한 첫 번째 이종분산성 검정 세트이다.