[论文解读] Method of Contraction-Expansion (MOCE) for Simultaneous Inference in Linear Models

Fei Wang, Ling Zhou+2 more|arXiv (Cornell University)|Jan 1, 2021

Fault Detection and Control Systems被引用 6

一句话总结

本文提出收缩-扩张方法（MOCE），用于在通过正则化（如LASSO）进行模型选择后的高维线性模型中实现同时推断。通过去偏化平衡偏差与方差，MOCE在理论保证下实现了有效的同时置信区域，相较于现有方法，具有更稳定的覆盖率和更低的计算成本。

ABSTRACT

Simultaneous inference after model selection is of critical importance to address scientific hypotheses involving a set of parameters. In this paper, we consider high-dimensional linear regression model in which a regularization procedure such as LASSO is applied to yield a sparse model. To establish a simultaneous post-model selection inference, we propose a method of contraction and expansion (MOCE) along the line of debiasing estimation that enables us to balance the bias-and-variance trade-off so that the super-sparsity assumption may be relaxed. We establish key theoretical results for the proposed MOCE procedure from which the expanded model can be selected with theoretical guarantees and simultaneous confidence regions can be constructed by the joint asymptotic normal distribution. In comparison with existing methods, our proposed method exhibits stable and reliable coverage at a nominal significance level with substantially less computational burden, and thus it is trustworthy for its application in solving real-world problems.

研究动机与目标

• 解决在使用LASSO等正则化方法进行模型选择后的高维线性模型中同时推断的挑战。
• 通过一种新颖的去偏化方法，放宽后模型选择推断中通常所需的超稀疏性假设，以平衡偏差与方差。
• 开发一种方法，确保所选参数的可靠同时置信区域，并具有理论保证。
• 在保持名义显著性水平下稳定可靠的覆盖率的同时，相比现有后模型选择推断方法，降低计算负担。

提出的方法

• MOCE引入一种收缩与扩张框架，通过调整正则化估计量来减少偏差，同时保持稀疏性。
• 该方法对LASSO估计量应用去偏化机制，使修正后的估计量满足渐近正态性，从而实现有效的推断。
• 通过两阶段过程构建扩展模型：首先将估计量收缩以减少偏差，然后将其扩展以恢复估计稳定性。
• 该过程利用去偏参数的联合渐近正态分布来构建同时置信区域。
• 在放宽稀疏性假设的条件下，推导出模型选择一致性和覆盖率概率的理论保证。
• 通过避免重抽样或置换方法，转而依赖采样分布的解析近似，实现计算效率。

实验结果

研究问题

• RQ1 如何在使用正则化方法进行模型选择后，可靠地在高维线性模型中进行同时推断？
• RQ2 是否可以在不牺牲后模型选择推断覆盖率准确性的前提下，放宽超稀疏性假设？
• RQ3 偏差校正在高维设置下对置信区域的方差和覆盖率特性有何影响？
• RQ4 MOCE在计算和统计性能方面与现有后模型选择推断方法相比如何，特别是在准确性和效率方面？
• RQ5 能否开发一种具有理论依据的方法，在高维设置下平衡偏差与方差，同时保持计算上的可处理性？

主要发现

• MOCE即使在放宽稀疏性假设的条件下，也能在名义显著性水平下实现稳定可靠的覆盖率。
• 该方法通过去偏参数估计量的联合渐近正态性，提供了有效的同时置信区域。
• 与基于重抽样的方法相比，MOCE显著降低了计算负担，使其在实际应用中更具可行性。
• 在高维渐近条件下，为模型选择和推断建立了理论保证。
• 去偏化机制有效平衡了偏差与方差，提升了推断准确性，且无需强稀疏性条件。
• 实证结果表明，MOCE在计算成本显著低于现有替代方法的同时，保持了接近名义水平的覆盖率。