[论文解读] Homoscedasticity tests valid in both low and high-dimensional regressions

Zhaoyuan Li, Jianfeng Yao|arXiv (Cornell University)|Oct 1, 2015

Random Matrices and Applications参考文献 26被引用 2

一句话总结

本文提出了两种基于OLS残差的新异方差性检验方法，在自由度增大时，原假设下检验量渐近服从正态分布，覆盖了低维与高维回归设置。这些检验在中等和高维情形下均有效，相较于传统的White检验与Breusch-Pagan检验，具有更优的势和尺寸。

ABSTRACT

Testing heteroscedasticity of the errors is a major challenge in high-dimensional regressions where the number of covariates is large compared to the sample size. Traditional procedures such as the White and the Breusch-Pagan tests typically suffer from low sizes and powers. This paper proposes two new test procedures based on standard OLS residuals. Using the theory of random Haar orthogonal matrices, the asymptotic normality of both test statistics is obtained under the null when the degree of freedom tends to infinity. This encompasses both the classical low-dimensional setting where the number of variables is fixed while the sample size tends to infinity, and the proportional high-dimensional setting where these dimensions grow to infinity proportionally. These procedures thus offer a wide coverage of dimensions in applications. To our best knowledge, this is the first procedures in the literature for testing heteroscedasticity which are valid for medium and high-dimensional regressions. The superiority of our proposed tests over the existing methods are demonstrated by extensive simulations and by several real data analyses as well.

研究动机与目标

• 解决经典异方差性检验方法（如White检验与Breusch-Pagan检验）在协变量数量相对于样本量较大时性能不佳的问题。
• 开发在低维与高维渐近框架下均能保持有效尺寸与高功效的检验程序。
• 在自由度趋于无穷大时，建立原假设下检验统计量的渐近正态性。
• 为样本量与协变量数量成比例增长的高维设置提供统一的适用框架。
• 提供文献中首个在中等到高维回归背景下形式上有效的异方差性检验方法。

提出的方法

• 所提出的检验利用标准普通最小二乘法（OLS）残差构造检验统计量，原假设下其渐近服从正态分布。
• 理论依据建立在随机Haar正交矩阵理论之上，用于推导检验统计量的渐近分布。
• 当自由度（与协变量数量相关）趋于无穷大时，证明了渐近正态性，涵盖固定-p与成比例-p的情形。
• 检验统计量的设计对设计矩阵的维数具有鲁棒性，使其适用于高维回归场景。
• 该方法无需对误差项施加分布假设，仅要求存在二阶矩，从而增强了通用性。
• 该方法旨在保持低维与高维框架下的正确尺寸与高功效，包括p/n → c ∈ (0, ∞)的情形。

实验结果

研究问题

• RQ1 能否开发出在p/n → c ∈ (0, ∞)的高维回归设置下仍保持有效尺寸与高功效的异方差性检验方法？
• RQ2 当协变量数量随样本量增长时，是否可推导出原假设下异方差性检验统计量的渐近正态性？
• RQ3 所提出的检验在广泛维度设置下是否优于经典方法（如White检验与Breusch-Pagan检验）的尺寸与功效？
• RQ4 能否利用随机矩阵理论，特别是Haar正交矩阵理论，来证明基于OLS的异方差性检验统计量的渐近分布？
• RQ5 所提出的检验是否为文献中首个在低维与高维回归框架下均形式上有效的异方差性检验方法？

主要发现

• 当自由度趋于无穷大时，所提出的检验在原假设下实现渐近正态性，覆盖了低维与高维渐近框架。
• 检验在协变量数量与样本量成比例增长至无穷大的比例高维设置下有效。
• 大量模拟结果表明，所提出的检验在各种维度设置下，无论在尺寸还是功效方面，均优于传统的White检验与Breusch-Pagan检验。
• 即使在经典检验因严重尺寸扭曲而失效的高维框架下，所提出的检验仍能保持正确的尺寸。
• 真实数据分析进一步证实了所提出检验相较于现有替代方法的优越经验表现。
• 据作者所知，这是文献中首个在低维与高维回归设置下均形式上有效的异方差性检验集合。