[论文解读] Functional Choice and Non-significance Regions in Regression

Laurie Davies|arXiv (Cornell University)|May 6, 2016

Advanced Statistical Methods and Models参考文献 12被引用 3

一句话总结

本文提出了一种用于回归变量选择的非显著性检验框架，用基于置换的统计方法替代传统的模型选择准则，通过将观测到的残差平方和与独立同分布的正态噪声下的残差平方和进行比较。该方法利用模拟计算子集协变量的p值，识别出在预测上不显著优于随机噪声的协变量，并可扩展至非参数损失函数（如L1回归）。

ABSTRACT

Given data $y$ and $k$ covariates $x$ the problem is to decide which covariates to include when approximating $y$ by a linear function of the covariates. The decision is based on replacing subsets of the covariates by i.i.d. normal random variables and comparing the error with that obtained by retaining the subsets. If the two errors are not significantly different for a particular subset it is concluded that the covariates in this subset are no better than random noise and they are not included in the linear approximation to $y$.

研究动机与目标

• 解决在传统基于模型的准则（如AIC、BIC）或正则化方法（如Lasso）不可靠或需强分布假设时，如何选择相关协变量的挑战。
• 开发一种方法，用于判断协变量子集是否在预测响应变量方面显著优于随机噪声。
• 通过基于模拟的推断构建回归参数的非显著性区域，替代在不假设“真实”参数值时的置信区域。
• 将该方法推广至最小二乘法之外的一般差异度量，包括L1回归，从而增强对异常值和重尾误差的鲁棒性。

提出的方法

• 将每个被排除的协变量子集替换为独立同分布的N(0,1)随机变量，并在相同回归模型下计算相应的残差平方和（S²_e）。
• 通过大量模拟比较全模型中观测到的残差平方和（s²）与S²_e，计算p值：p_e = S²_e < s² 的模拟比例。
• 若p_e > 1 - α（例如α = 0.95），则判定该协变量子集为非显著，即其表现不优于随机噪声。
• 利用模拟构建回归参数（如中位数或L1估计）的非显著性区域，定义与估计值无显著差异的参数值集合。
• 对于中位数，定义非显著性区域为满足：扰动数据产生比观测中位数更小的L1损失的概率至少为1 - α 的所有值m。
• 利用涉及卡方分布和正态噪声的渐近近似，推导出扰动下差异度量的期望行为，从而实现高效模拟。

实验结果

研究问题

• RQ1 我们能否判断协变量子集是否在预测响应变量方面显著优于随机噪声？
• RQ2 如何在不假设“真实”值的前提下，基于模拟推断定义回归参数（如中位数）的非显著性区域？
• RQ3 该方法在变量选择中相较于传统模型选择准则（如AIC或BIC）的性能优势或互补性如何？
• RQ4 该方法能否推广至最小二乘法之外的其他差异度量（如L1回归）？
• RQ5 响应变量随机扰动下差异度量的渐近行为如何？其如何指导非显著性区域的构建？

主要发现

• 在stack loss数据中，仅编码为3（e = (1,1,0)，即排除'Acid.Conc'）的子集p值为0.231，表明其表现不显著优于随机噪声。
• stack loss数据中位数的0.95非显著性区域为[11.86, 18.71]，与基于顺序统计量的0.95置信区域[11, 18]非常接近。
• 在扰动下最小L1损失的渐近近似为s₁(y) - χ²_k / (4f(0))，其中f(0)为误差分布在零处的密度。
• 该方法具有鲁棒性和通用性：适用于任意差异度量d(y,x)，包括L1及其他M-估计器，而不仅限于最小二乘法。
• 子集e的p值定义为模拟中S²_e < s² 的比例，从而实现正式的显著性检验。
• 该方法避免了对误差分布的参数假设，为不依赖显式模型拟合的模型选择准则提供了一种频率学派的替代方案。