[论文解读] A General Framework for Robust Testing and Confidence Regions in High-Dimensional Quantile Regression

Tianqi Zhao, Mladen Kolar+1 more|arXiv (Cornell University)|Dec 30, 2014

Advanced Statistical Methods and Models参考文献 41被引用 20

一句话总结

本文提出了一种高维分位数回归的稳健推断框架，即使在重尾噪声下也能实现有效的置信区间和假设检验。通过结合去偏化与复合分位数损失函数，该方法在无需一阶或二阶矩有限的条件下实现了渐近正态性，与基于平方损失的方法相比，相对效率至少保持70%，且在弱设计假设下依然有效。

ABSTRACT

We propose a robust inferential procedure for assessing uncertainties of parameter estimation in high-dimensional linear models, where the dimension $p$ can grow exponentially fast with the sample size $n$. Our method combines the de-biasing technique with the composite quantile function to construct an estimator that is asymptotically normal. Hence it can be used to construct valid confidence intervals and conduct hypothesis tests. Our estimator is robust and does not require the existence of first or second moment of the noise distribution. It also preserves efficiency in the sense that the worst case efficiency loss is less than 30\% compared to the square-loss-based de-biased Lasso estimator. In many cases our estimator is close to or better than the latter, especially when the noise is heavy-tailed. Our de-biasing procedure does not require solving the $L_1$-penalized composite quantile regression. Instead, it allows for any first-stage estimator with desired convergence rate and empirical sparsity. The paper also provides new proof techniques for developing theoretical guarantees of inferential procedures with non-smooth loss functions. To establish the main results, we exploit the local curvature of the conditional expectation of composite quantile loss and apply empirical process theories to control the difference between empirical quantities and their conditional expectations. Our results are established under weaker assumptions compared to existing work on inference for high-dimensional quantile regression. Furthermore, we consider a high-dimensional simultaneous test for the regression parameters by applying the Gaussian approximation and multiplier bootstrap theories. We also study distributed learning and exploit the divide-and-conquer estimator to reduce computation complexity when the sample size is massive. Finally, we provide empirical results to verify the theory.

研究动机与目标

• 解决当误差分布为重尾且可能缺乏有限矩时，高维线性模型缺乏稳健推断方法的问题。
• 开发一种通用的推断框架，在弱矩和设计假设下保持有效性与效率。
• 在不依赖高斯或次高斯噪声假设的前提下，实现高维回归参数的置信区间与假设检验构造。
• 提供一种灵活的方法，适用于任意第一阶段稀疏估计器和任意一致的分位数估计，提升实际适用性。
• 将框架扩展至分布式学习场景，以降低大规模数据集的计算复杂度。

提出的方法

• 基于复合分位数损失函数的次梯度，使用一步更新对第一阶段稀疏估计器（如Lasso、分位数回归）应用去偏化过程。
• 利用复合分位数损失函数提升稳健性与效率，尤其在重尾误差分布下表现更优。
• 在弱矩条件下（包括误差的一阶或二阶矩不存在的情况）建立去偏估计量的渐近正态性。
• 借助经验过程理论，并通过复合分位数损失函数的局部曲率分析，控制经验期望与条件期望之间的差异。
• 应用高斯近似与乘子自展法技术，实现高维回归参数的联合假设检验。
• 集成分治策略，实现大规模样本量下的可扩展分布式推断。

实验结果

研究问题

• RQ1 当误差分布为重尾且缺乏有限矩时，能否在高维线性模型中构造有效的置信区间与假设检验？
• RQ2 如何在重尾噪声下保持高统计效率的同时确保稳健性？
• RQ3 为确保去偏估计量的渐近正态性，对设计矩阵与误差分布的最小假设是什么？
• RQ4 去偏化框架能否推广至适用于任意第一阶段稀疏估计器与任意一致的分位数估计？
• RQ5 如何将该方法扩展至分布式计算环境，以降低大规模数据的计算复杂度？

主要发现

• 所提出的去偏估计量在弱矩条件下具有渐近正态性，即使误差分布的一阶或二阶矩不存在亦成立。
• 在最坏情况下，与基于平方损失的去偏Lasso相比，该方法的相对效率至少达到70%，在高斯噪声下效率接近95%。
• 与基于平方损失的去偏Lasso相比，最坏情况下的效率损失低于30%，且在重尾噪声下可显著优于后者。
• 该框架无需对设计矩阵的精度矩阵施加稀疏性假设，放宽了现有高维推断方法中的常见假设。
• 该方法可通过高斯近似与乘子自展法实现高维参数的可靠联合检验，并具备理论保证。
• 分治扩展使得大规模数据集上的可扩展推断成为可能，同时保持理论有效性与计算效率。