[论文解读] A Nonparametric Normality Test for High-dimensional Data

Hao Chen, Xia Yin|arXiv (Cornell University)|Apr 10, 2019

Statistical Methods and Inference被引用 5

一句话总结

该论文提出了一种针对高维数据的非参数正态性检验方法，利用最近邻信息确保在维度超过样本量时仍能实现渐近的 I 类错误控制。该方法在模拟中表现出更高的检验功效和准确的实测尺寸，并在肺癌数据集上得到验证，显示出在高维正态性假设下的稳健性。

ABSTRACT

Many statistical methodologies for high-dimensional data assume the population normality. Although a few multivariate normality tests have been proposed, to the best of our knowledge, none of them can properly control the type I error when the dimension is growing with the number of observations. In this work, we propose a novel nonparametric test that utilizes the nearest neighbor information. The proposed method theoretically guarantees the asymptotic type I error control under the high-dimensional setting. Simulation studies verify the empirical size performance of the proposed test when the dimension is larger than the sample size and at the same time exhibit the superior power performance of the new test compared with the alternative methods. We also illustrate our approach through a popularly used lung cancer data set in high-dimensional classification literatures where deviation from the normality assumption may lead to completely invalid conclusion.

研究动机与目标

• 解决当维度随样本量增长时，缺乏能保持正确 I 类错误控制的正态性检验方法的问题。
• 开发一种适用于高维数据的非参数方法，以应对传统参数检验失效的情况。
• 在高维渐近框架下，确保检验的理论渐近有效性。
• 在高维设置下，相比现有方法提升检验功效表现。

提出的方法

• 利用最近邻距离构建多变量正态性的非参数度量。
• 依赖于在多变量正态性原假设下最近邻间距的渐近分布。
• 该方法设计用于在 p > n 的情况下仍能保持正确的尺寸控制，这是高维数据中的常见挑战。
• 通过最近邻距离的秩变换降低对尺度和位置的敏感性。
• 检验统计量基于最近邻间距的经验分布与正态性下期望值的相对关系构建。
• 通过高维渐近框架下的渐近分析提供理论依据。

实验结果

研究问题

• RQ1 当维度 p 随样本量 n 增长时，非参数正态性检验能否保持正确的 I 类错误率？
• RQ2 在高维设置下，所提出的检验与现有多元正态性检验相比，功效表现如何？
• RQ3 当 p > n 时，该检验是否仍保持有效性和可靠性？这一情形下大多数现有检验会失效。
• RQ4 该方法能否在真实世界高维数据（如基因表达数据）中检测出对正态性的偏离？
• RQ5 在实际高维分类应用中，该检验对正态性假设的违反是否具有稳健性？

主要发现

• 所提出的检验即使在维度超过样本量时，也能实现 I 类错误的渐近控制。
• 模拟结果证实，在高维设置下实测尺寸准确，优于现有方法，能更好地维持名义水平。
• 与替代方法相比，该检验在高维和小样本情形下表现出更优的检验功效。
• 在肺癌数据集中，该检验检测到显著偏离正态性的证据，凸显了在不恰当成比例假设正态性时可能导致无效结论的风险。
• 该方法在各种高维配置下保持稳定可靠，显示出对维度 p 增加的稳健性。