[论文解读] A General Theory of Hypothesis Tests and Confidence Regions for Sparse High Dimensional Models

Yang Ning, Han Liu|arXiv (Cornell University)|Dec 30, 2014

Statistical Methods and Inference参考文献 43被引用 26

一句话总结

本文提出了一种通用框架，用于在高维稀疏模型中进行假设检验和置信区域构造，通过引入去相关得分函数以减轻高维干扰参数的影响。该方法在温和的正则性条件下，为惩罚M-估计量提供了有效的推断，理论保证包括渐近第一类错误控制、局部功效以及半参数效率，适用于凸与非凸惩罚、广义损失函数及模型误设的情形。

ABSTRACT

We consider the problem of uncertainty assessment for low dimensional components in high dimensional models. Specifically, we propose a decorrelated score function to handle the impact of high dimensional nuisance parameters. We consider both hypothesis tests and confidence regions for generic penalized M-estimators. Unlike most existing inferential methods which are tailored for individual models, our approach provides a general framework for high dimensional inference and is applicable to a wide range of applications. From the testing perspective, we develop general theorems to characterize the limiting distributions of the decorrelated score test statistic under both null hypothesis and local alternatives. These results provide asymptotic guarantees on the type I errors and local powers of the proposed test. Furthermore, we show that the decorrelated score function can be used to construct point and confidence region estimators that are semiparametrically efficient. We also generalize this framework to broaden its applications. First, we extend it to handle high dimensional null hypothesis, where the number of parameters of interest can increase exponentially fast with the sample size. Second, we establish the theory for model misspecification. Third, we go beyond the likelihood framework, by introducing the generalized score test based on general loss functions. Thorough numerical studies are conducted to back up the developed theoretical results.

研究动机与目标

• 解决在具有高维干扰参数的高维模型中，对低维分量缺乏不确定性度量的问题。
• 开发一种适用于广泛惩罚M-估计量的通用推断框架，包括具有凸与非凸惩罚的估计量。
• 将推断扩展至高维零假设、模型误设以及非似然函数损失函数的情形。
• 建立所提方法在第一类错误控制、局部功效及半参数效率方面的理论保证。
• 通过理论与数值分析，在高维线性模型与广义线性模型中验证该框架的有效性。

提出的方法

• 提出一种去相关得分函数，以消除参数关注量的得分与干扰参数之间的相关性。
• 利用去相关得分函数构造一个检验统计量，其渐近分布分别在原假设与局部备则下推导得出。
• 将去相关得分函数应用于构造半参数高效估计量与最优置信区域。
• 将该框架扩展至高维零假设情形，其中关注参数的数量随样本量增长。
• 通过引入基于任意损失函数的广义得分检验，将该方法推广至非似然函数推断。
• 为高维零假设及模型误设情形下的实际推断，证明了乘子自展法的合理性。

实验结果

研究问题

• RQ1 能否为具有高维干扰参数的高维模型中的低维分量开发一种通用推断框架？
• RQ2 在原假设与局部备则下，去相关得分检验统计量的渐近分布为何？
• RQ3 如何利用去相关得分函数实现半参数效率与最优置信区域？
• RQ4 该框架能否扩展至高维零假设与模型误设情形？
• RQ5 该方法能否推广至非似然函数推断，适用于任意损失函数？

主要发现

• 在原假设下，去相关得分检验统计量具有渐近卡方分布，确保了渐近正确的第一类错误控制。
• 该检验实现了与理论下界一致的局部功效，表明对靠近原假设的备则具有高度敏感性。
• 由去相关得分函数导出的估计量达到了半参数效率界，因此在非参数模型中为最优。
• 乘子自展法在高维零假设下具有理论合理性，即使关注参数的数量随样本量增长亦成立。
• 该框架在模型误设条件下依然有效，为高维设定下“最不真实”参数提供了正式推断。
• 理论条件在高维线性模型与广义线性模型中得到验证，证实了其广泛应用性。