[논문 리뷰] Testing heteroscedasticity for regression models based on projections

Falong Tan, Xuejun Jiang외 2명|arXiv (Cornell University)|2018. 08. 08.

Statistical Methods and Inference참고 문헌 19인용 수 3

한 줄 요약

이 논문은 고차원의 파라미터적 및 부분선형 회귀 모형에서 이방성에 대한 사영 기반 검정을 제안한다. 이는 공변수를 일차원 방향으로 사영하여 차원의 극복을 도모한다. 검정은 사영된 데이터에 대한 잔차-표식된 경험과정을 사용하며, 국소 대립가설 하에서 최적의 탐지율 $ O(1/\sqrt{n}) $ 를 달성한다. 유의성 검정을 위해 잔차 기반 부트스트랩을 활용하며, 점근적 이론과 시뮬레이션을 통해 고차원에서의 강건성과 검정력이 확인된다.

ABSTRACT

In this paper we propose a new test of heteroscedasticity for parametric regression models and partial linear regression models in high dimensional settings. When the dimension of covariates is large, existing tests of heteroscedasticity perform badly due to the \curse of dimensionality". To attack this problem, we construct a test of heteroscedasticity by using a projection-based empirical process. We study the asymptotic properties of the test statistic under the null hypothesis and alternative hypotheses. It is shown that the test can detect local alternatives departure from the null hypothesis at the fastest possible rate in hypothesis testing. As the limiting null distribution of the test statistic is not distribution free, we propose a residual-based bootstrap. The validity of the bootstrap approximations is investigated. We present some simulation results to show the finite sample performances of the test. Two real data analyses are conducted for illustration.

연구 동기 및 목표

• 공변수 차원이 증가함에 따라 검정력이 떨어지는 기존의 이방성 검정에서 발생하는 '차원의 극복 문제'를 해결하기 위해.
• 공변수의 수가 많아도 높은 검정력을 유지할 수 있는 파라미터적 및 부분선형 회귀 모형을 위한 검정을 개발하기 위해.
• 차원을 감소시키면서도 탐지 민감도를 유지하기 위해 공변수의 일차원 사영 기반 검정 통계량을 구성하기 위해.
• 귀무가설 및 국소 대립가설 하에서 검정의 점근적 이론을 수립하여 최적의 탐지율 확보하기 위해.
• 유의분포를 근사하기 위한 잔차 기반 부트스트랩 방법을 제안하고 검증하기 위해. 이는 점근적으로 분포에 무관하지 않다.

제안 방법

• 공변수의 일차원 사영 $ \alpha^\top Z $ 를 사용하여 잔차-표식된 경험과정을 구성함으로써 차원을 1로 감소시킨다. 여기서 $ \alpha \in \mathbb{S}^{p} $ 이다.
• 검정 통계량은 사영된 경험과정의 기능으로 정의되며, $ V_n(\alpha,t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \eta_i [I(\alpha^\top Z_i \leq t) - F_\alpha(t)] $ 이다. 여기서 $ \eta_i = \hat{\varepsilon}_i^2 - \hat{\sigma}^2 $ 이다.
• 귀무가설 하에서 검정 통계량의 점근적 정규성을 도출하며, 이는 $ \alpha $ 와 $ t $ 를 인덱스로 하는 가우시안 과정로 수렴한다.
• 한계 귀무분포는 분포에 무관하지 않기 때문에, 임계값 근사에 위해 잔차 기반 부트스트랩을 제안한다.
• 부트스트랩은 미묘한 정규성 조건 하에서 타당함이 입증되었으며, 경험과정 및 VC-클래스 논리에 기반한 이론적 근거가 있다.
• 지표 함수의 집합 $ \{I(\alpha^\top z \leq t)\} $ 가 VC-클래스임을 활용하여 균일 수렴 결과를 도출한다.

실험 결과

연구 질문

• RQ1 기존의 검정이 차원의 극복 문제로 인해 실패하는 고차원 회귀 모형에서 이방성 검정이 높은 검정력을 유지할 수 있는가?
• RQ2 고차원 공변수를 일차원 방향으로 사영함으로써 국소 대안을 최적의 속도 $ O(1/\sqrt{n}) $ 로 탐지할 수 있는 능력을 유지하는가?
• RQ3 검정 통계량의 한계 귀무분포는 분포에 무관한가? 그리고 부트스트랩 방법이 타당한 임계값을 제공할 수 있는가?
• RQ4 유한 표본에서 기존의 비모수적 및 잔차 기반 검정과 비교하여 제안된 검정의 크기와 검정력은 어떻게 되는가?
• RQ5 이 검정은 파라미터적 및 비모수적 성분을 모두 포함하는 부분선형 회귀 모형으로 확장될 수 있는가?

주요 결과

• 제안된 검정은 국소 대안을 탐지하는 데 있어서 가장 빠른 수렴 속도인 $ O(1/\sqrt{n}) $ 를 달성하며, 이는 파라미터적 속도와 일치하여 최적성의 확인이 이루어졌다.
• 검정은 일차원 사영에 의존하므로 고차원 공변수에 대해 강건하며, 고차원 공간에서의 데이터 희소성 문제를 피한다.
• 검정 통계량의 한계 귀무분포는 분포에 무관하지 않기 때문에, 임계값 근사를 위해 잔차 기반 부트스트랩이 필요하다.
• 부트스트랩 절차는 일반적인 정규성 조건 하에서 이론적으로 타당하며, 표본 크기가 유한할 때도 정확한 크기 제어를 보장한다.
• 시뮬레이션 결과, 공변수의 수가 많아도 검정은 양호한 크기와 검정력을 유지하며, 고차원 환경에서 기존 방법보다 뛰어난 성능을 보였다.
• 두 가지 실제 데이터 분석을 통해 이 검정이 복잡한 회귀 모형에서 이방성 탐지를 위해 실용적으로 유용함을 확인하였다.