[论文解读] Linear and Conic Programming Estimators in High-Dimensional Errors-in-variables Models

Alexandre Belloni, Mathieu Rosenbaum+1 more|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Inference参考文献 26被引用 64

一句话总结

本文提出了一种用于高维 errors-in-variables 模型的补偿式矩阵不确定性（MU）选择器，其中协变量以独立同分布的噪声观测。通过将数据驱动的噪声方差估计值纳入二阶锥规划（SOCP）框架，该估计器在稀疏性假设下实现了极小极大最优收敛速率，从而在存在测量误差的情况下仍能实现可靠的高维推断。

ABSTRACT

We consider the linear regression model with observation error in the design. In this setting, we allow the number of covariates to be much larger than the sample size. Several new estimation methods have been recently introduced for this model. Indeed, the standard Lasso estimator or Dantzig selector turn out to become unreliable when only noisy regressors are available, which is quite common in practice. We show in this work that under suitable sparsity assumptions, the procedure introduced in Rosenbaum and Tsybakov (2013) is almost optimal in a minimax sense and, despite non-convexities, can be efficiently computed by a single linear programming problem. Furthermore, we provide an estimator attaining the minimax efficiency bound. This estimator is written as a second order cone programming minimisation problem which can be solved numerically in polynomial time.

研究动机与目标

• 解决标准 Lasso 和 Dantzig 选择器在协变量存在测量误差的高维 errors-in-variables 模型中失效的问题。
• 在稀疏性假设下，开发一种鲁棒的估计程序，确保当协变量数量 $ p $ 超过样本大小 $ n $ 时仍保持一致性和高效性。
• 通过将估计的噪声方差 $ \hat{\sigma}_j^2 $ 纳入估计框架，补偿由噪声设计矩阵引入的偏差。
• 在稀疏性假设下建立所提估计器的极小极大最优性，实现在 $ \ell_q $-范数下的最优收敛速率。
• 通过二阶锥规划（SOCP）实现高效计算，确保多项式时间可解性。

提出的方法

• 提出一种补偿式 MU 选择器，定义为如下二阶锥规划的解：$ \min |\theta|_1 $，约束条件为 $ \left| \frac{1}{n}Z^T(y - Z\theta) + \widehat{D}\theta \right|_\infty \leq \mu|\theta|_1 + \tau $，其中 $ \widehat{D} $ 为估计噪声方差的对角矩阵。
• 使用数据驱动的估计量 $ \widehat{\sigma}_j^2 $ 估计噪声方差 $ \sigma_j^2 = \frac{1}{n}\sum_i \mathbb{E}[W_{ij}^2] $，适用于存在缺失数据或重复测量的模型。
• 通过在残差项中加入 $ \widehat{D}\theta $ 实现偏差校正，以抵消 $ W $ 导致的 $ Z^T Z / n $ 中的偏差。
• 将估计器表述为二阶锥规划（SOCP），从而实现多项式时间内的高效数值求解。
• 通过非渐近分析（使用广义 Fano 引理）和构造具有可控分离性的大规模假设集，建立极小极大最优性。
• 利用 Kullback-Leibler 散度和特征值界控制假设之间的分离性，推导估计误差的下界。

实验结果

研究问题

• RQ1 在设计矩阵存在测量误差的情况下，高维估计器是否仍能保持极小极大最优性？
• RQ2 如何在不降低估计精度的前提下，对协变量中的噪声方差进行估计与补偿？
• RQ3 在存在 errors-in-variables 的稀疏高维模型中，是否可能实现 $ \ell_q $-范数下的极小极大最优收敛速率？
• RQ4 所得到的估计器是否能通过凸优化技术实现高效计算？
• RQ5 该模型下的估计精度是否存在根本性极限？所提方法是否能实现这一极限？

主要发现

• 所提出的补偿式 MU 选择器在 $ \ell_q $-范数下实现了极小极大最优收敛速率：$ |\hat{\theta}^C - \theta^*|_q \leq C s^{1/q} \sqrt{\frac{\log p}{n}} (|\theta^*|_1 + 1) $，以高概率成立。
• 该估计器被表述为二阶锥规划（SOCP），可在多项式时间内求解，确保计算效率。
• 通过使用数据驱动的 $ \sigma_j^2 $ 估计值对 $ Z^T Z / n $ 中的偏差进行校正，该方法实现了极小极大最优性，且在存在缺失数据或重复测量的模型中具有可行性。
• 下界分析确认，该估计器的收敛速率与理论极小极大下界一致，从而证明其最优性。
• 通过构造具有可控分离性和 KL 散度的大规模假设集，确保在给定的稀疏性与噪声假设下，任何估计器都无法实现更快的收敛速率。
• 当噪声水平较大时，该方法仍保持有效性，而原始 MU 选择器仅在噪声较小时才有效，否则会失效。