[논문 리뷰] A Nonparametric Normality Test for High-dimensional Data

Hao Chen, Xia Yin|arXiv (Cornell University)|2019. 04. 10.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 차원 수가 표본 크기보다 클 때조차도 유의수준 오류를 점 渐진적으로 제어할 수 있도록 최근접 이웃 정보를 활용하는 비모수적 정규성 검정을 제안한다. 시뮬레이션에서 높은 검정력과 정확한 경험적 크기를 보이며, 폐암 데이터셋에 대해 검증되어 고차원 정규성 가정 하에서 강인함을 입증한다.

ABSTRACT

Many statistical methodologies for high-dimensional data assume the population normality. Although a few multivariate normality tests have been proposed, to the best of our knowledge, none of them can properly control the type I error when the dimension is growing with the number of observations. In this work, we propose a novel nonparametric test that utilizes the nearest neighbor information. The proposed method theoretically guarantees the asymptotic type I error control under the high-dimensional setting. Simulation studies verify the empirical size performance of the proposed test when the dimension is larger than the sample size and at the same time exhibit the superior power performance of the new test compared with the alternative methods. We also illustrate our approach through a popularly used lung cancer data set in high-dimensional classification literatures where deviation from the normality assumption may lead to completely invalid conclusion.

연구 동기 및 목표

• 차원 수 p가 표본 크기 n과 함께 증가할 때도 적절한 유의수준 오류 제어를 유지하는 정규성 검정이 부족한 문제를 해결하기 위해.
• 기존의 모수적 검정이 실패하는 고차원 데이터에 적합한 비모수적 방법을 개발하기 위해.
• 고차원 점점 증가하는 점근적 설정 하에서 검정의 이론적 점진적 타당성을 확보하기 위해.
• 기존 대안들에 비해 고차원 설정에서 더 높은 검정력을 확보하기 위해.

제안 방법

• 검정은 최근접 이웃 거리를 사용하여 다변량 정규성의 비모수적 측도를 구성한다.
• 다변량 정규성의 근본 가설 하에서 최근접 이웃 간격의 점진적 분포에 기반한다.
• p > n일 경우에도 정확한 크기 제어를 유지할 수 있도록 설계되었으며, 이는 고차원 데이터에서 흔한 과제이다.
• 척도 및 위치에 대한 민감도를 줄이기 위해 최근접 이웃 거리에 순위 기반 변환을 적용한다.
• 검정 통계량은 정규성 하에서 기대값에 대한 최근접 이웃 간격의 경험적 분포로부터 구성된다.
• 고차원 점진적 설정 하에서의 점진적 분석을 통해 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 차원 수 p가 표본 크기 n과 함께 증가할 때도 비모수적 정규성 검정이 올바른 유의수준 오류율을 유지할 수 있는가?
• RQ2 고차원 설정에서 제안된 검정은 기존의 다변량 정규성 검정보다 어떻게 검정력이 뛰어나게 되는가?
• RQ3 p > n일 경우, 대부분의 기존 검정이 실패하는 상황에서도 검정이 유효하고 신뢰할 수 있는가?
• RQ4 유전자 발현 데이터와 같은 실제 고차원 데이터에서 정규성의 이탈을 탐지할 수 있는가?
• RQ5 실제 고차원 분류 응용에서 정규성 가정 위반에 대해 검정이 강인한가?

주요 결과

• 제안된 검정은 차원 수가 표본 크기를 초과할 때조차도 점진적 유의수준 오류 제어를 달성한다.
• 시뮬레이션 결과는 고차원 설정 하에서 정확한 경험적 크기를 확인하였으며, 명목 수준을 유지하는 데 기존 방법들을 능가한다.
• 특히 고차원 및 소표본 영역에서 기존 방법들에 비해 뛰어난 검정력을 보인다.
• 폐암 데이터셋에서 검정은 정규성에서의 유의미한 이탈을 탐지하였으며, 정규성을 부적절하게 가정할 경우 잘못된 결론을 이끌 수 있음을 시사한다.
• 다양한 고차원 구성에서 안정적이고 신뢰할 수 있으며, p 증가에 대해 강인함을 보였다.