[论文解读] An $\{l_1,l_2,l_{\infty}\}$-Regularization Approach to High-Dimensional Errors-in-variables Models

Alexandre Belloni, Mathieu Rosenbaum+1 more|arXiv (Cornell University)|Dec 22, 2014

Statistical Methods and Inference参考文献 10被引用 4

一句话总结

本文提出两种针对高维误差变量线性回归的新估计量，通过联合使用 $β_1$、$β_2$ 和 $β_\infty$-范数正则化以提升鲁棒性。主要贡献在于在设计误差分布假设较弱的情况下，无需准确的误差方差先验估计，即可实现最优收敛速率。

ABSTRACT

Several new estimation methods have been recently proposed for the linear regression model with observation error in the design. Different assumptions on the data generating process have motivated different estimators and analysis. In particular, the literature considered (1) observation errors in the design uniformly bounded by some $\bar δ$, and (2) zero mean independent observation errors. Under the first assumption, the rates of convergence of the proposed estimators depend explicitly on $\bar δ$, while the second assumption has been applied when an estimator for the second moment of the observational error is available. This work proposes and studies two new estimators which, compared to other procedures for regression models with errors in the design, exploit an additional $l_{\infty}$-norm regularization. The first estimator is applicable when both (1) and (2) hold but does not require an estimator for the second moment of the observational error. The second estimator is applicable under (2) and requires an estimator for the second moment of the observation error. Importantly, we impose no assumption on the accuracy of this pilot estimator, in contrast to the previously known procedures. As the recent proposals, we allow the number of covariates to be much larger than the sample size. We establish the rates of convergence of the estimators and compare them with the bounds obtained for related estimators in the literature. These comparisons show interesting insights on the interplay of the assumptions and the achievable rates of convergence.

研究动机与目标

• 解决协变量测量误差存在时标准 Lasso 和 Dantzig 选择器在高维回归中的不稳定性问题。
• 开发在设计误差非一致有界且无需精确估计误差方差时仍保持一致性的估计量。
• 在对误差结构假设最少的前提下，提供估计误差率的理论保证。
• 探讨不同范数正则化（$\ell_1$、$\ell_2$、$\ell_\infty$）之间的相互作用及其对收敛速率的影响。
• 在类似假设下，建立与现有方法相当或更优的收敛速率，尤其在缺乏准确方差估计时表现更优。

提出的方法

• 提出一种新估计量，结合 $\ell_1$-范数稀疏性正则化与残差和设计误差项的 $\ell_\infty$-范数约束。
• 引入一个可行的优化问题，其可行集由参数向量和残差向量的 $\ell_1$、$\ell_2$ 和 $\ell_\infty$-范数约束定义。
• 采用对偶方法，通过控制设计矩阵和误差项的 $\ell_\infty$-范数来推导估计误差的上界。
• 引入误差方差 $\sigma_j^2$ 的先验估计，但不依赖其准确性，与以往方法形成对比。
• 利用集中不等式和随机矩阵 $\ell_\infty$-范数的链式论证，建立估计误差的高概率上界。
• 为优化问题定义一个可行集，确保解满足参数和残差向量的 $\ell_1$、$\ell_2$ 和 $\ell_\infty$-范数约束。

实验结果

研究问题

• RQ1 联合 $\ell_1$、$\ell_2$ 和 $\ell_\infty$-正则化框架是否能提升高维误差变量模型中的估计稳定性？
• RQ2 当设计误差非一致有界且误差方差估计精度较低时，可实现的最优收敛速率是什么？
• RQ3 与基于标准 $\ell_1$-方法相比，$\ell_\infty$-范数正则化如何影响估计量的鲁棒性？
• RQ4 所提出的估计量是否能在不依赖误差方差已知或准确估计的情况下实现最优收敛速率？
• RQ5 在高维设置下，$\ell_\infty$-范数正则化强度与最终估计误差之间的理论权衡是什么？

主要发现

• 所提估计量在 $\ell_q$-范数下达到 $O(s^{1/q}\sqrt{\log p / n})$ 的收敛速率（$1 \leq q \leq \infty$），与文献中已知的最佳速率一致。
• 即使设计误差非一致有界，只要误差方差估计速率不要求精确，估计量仍保持一致。
• $\ell_\infty$-范数正则化使方法能够控制测量误差带来的最坏情况偏差，而无需对误差分布施加强假设。
• 该方法在无需误差方差估计器一致的情况下实现最优速率，与以往依赖准确方差估计的方法形成对比。
• 理论界表明，$\ell_\infty$-范数正则化可降低重尾或依赖性测量误差对估计性能的影响。
• 分析表明，该估计量在最小假设下仍保持鲁棒性，包括仅要求误差具有有限二阶矩及设计矩阵存在弱依赖性。