[论文解读] Goodness of fit tests for high-dimensional models

Rajen D. Shah, Peter Bühlmann|arXiv (Cornell University)|Nov 10, 2015

Statistical Methods and Inference参考文献 28被引用 3

一句话总结

本文提出了残差预测（RP）检验，这是一种适用于低维和高维线性模型的拟合优度检验统一框架。通过使用预测误差作为检验统计量，对OLS或Lasso拟合的标准化残差进行回归，并利用模拟或参数自展法获取临界值，RP检验能有效检测模型误设，如异方差性和非线性性，且在变量显著性检验方面优于现有最先进方法。

ABSTRACT

In this work we propose a framework for constructing goodness of fit tests in both low and high-dimensional linear models. We advocate applying regression methods to the scaled residuals following either an ordinary least squares or Lasso fit to the data, and using some proxy for prediction error as the final test statistic. We call this family Residual Prediction (RP) tests. We show that simulation can be used to obtain the critical values for such tests in the low-dimensional setting, and demonstrate using both theoretical results and extensive numerical studies that some form of the parametric bootstrap can do the same when the high-dimensional linear model is under consideration. We show that RP tests can be used to test for significance of groups or individual variables as special cases, and here they compare favourably with state of the art methods, but we also argue that they can be designed to test for as diverse model misspecifications as heteroscedasticity and different types of nonlinearity. 1

研究动机与目标

• 开发一种适用于低维和高维线性模型的统一拟合优度检验框架。
• 解决当预测变量数量超过样本量时构建有效假设检验的挑战。
• 实现对多种模型误设（包括异方差性和非线性性）的检测，而不仅限于变量显著性。
• 提供一种计算可行的方法，通过模拟或参数自展法估计临界值。
• 在高维设置下，于个体或分组变量显著性检验中优于现有方法。

提出的方法

• 对线性模型应用普通最小二乘法或Lasso进行拟合并计算标准化残差。
• 将这些标准化残差对设计矩阵进行回归作为核心步骤，以构建检验统计量。
• 采用残差回归的预测误差作为最终检验统计量。
• 在低维设置下使用模拟方法获取临界值。
• 在高维设置下使用参数自展法估计临界值。
• 设计检验以对多种模型违反情况（包括异方差性和非线性性）保持敏感。

实验结果

研究问题

• RQ1 能否为低维和高维线性模型的拟合优度检验开发统一框架？
• RQ2 在传统方法失效的高维设置下，如何可靠地计算检验统计量的临界值？
• RQ3 RP检验在检测非线性和异方差性方面，其能力在多大程度上超越了标准的变量显著性检验？
• RQ4 与现有最先进的变量选择方法相比，RP检验在统计功效和大小方面表现如何？
• RQ5 在高维模型中，使用残差回归的预测误差作为检验统计量，能否产生有效且强大的推断？

主要发现

• 在模拟研究中，RP检验在个体或分组变量显著性检验中实现了有效的大小控制和良好的功效，优于现有最先进方法。
• 在高维设置下，参数自展法能提供准确的临界值，从而实现可靠的推断。
• 该框架具有足够的灵活性，可检测多种模型误设，如异方差性和非线性性，而不仅限于标准显著性检验。
• 模拟研究证实，通过模拟获得的临界值在低维设置下是有效的。
• 将残差回归的预测误差用作检验统计量，可产生稳健且可解释的检验程序。
• 该方法在各种模型配置和误差结构下均保持强大的实际性能。