[论文解读] High dimensional errors-in-variables models with dependent measurements

Mark Rudelson, Shuheng Zhou|arXiv (Cornell University)|Feb 9, 2015

Fault Detection and Control Systems参考文献 61被引用 7

一句话总结

该论文通过在噪声矩阵 W 中引入克罗内克和协方差结构，构建了具有依赖测量误差的高维错误变量模型。在稀疏性和限制特征值条件之下，建立了 Lasso 和 Dantzig 类型估计器的一致性与收敛速率，表明当测量误差减小时，误差界趋近于经典方法的误差界。

ABSTRACT

Suppose that we observe $y \in \mathbb{R}^f$ and $X \in \mathbb{R}^{f imes m}$ in the following errors-in-variables model: \begin{eqnarray*} y & = & X_0 β^* + ε\\ X & = & X_0 + W \end{eqnarray*} where $X_0$ is a $f imes m$ design matrix with independent subgaussian row vectors, $ε\in \mathbb{R}^f$ is a noise vector and $W$ is a mean zero $f imes m$ random noise matrix with independent subgaussian column vectors, independent of $X_0$ and $ε$. This model is significantly different from those analyzed in the literature in the sense that we allow the measurement error for each covariate to be a dependent vector across its $f$ observations. Such error structures appear in the science literature when modeling the trial-to-trial fluctuations in response strength shared across a set of neurons. Under sparsity and restrictive eigenvalue type of conditions, we show that one is able to recover a sparse vector $β^* \in \mathbb{R}^m$ from the model given a single observation matrix $X$ and the response vector $y$. We establish consistency in estimating $β^*$ and obtain the rates of convergence in the $\ell_q$ norm, where $q = 1, 2$ for the Lasso-type estimator, and for $q \in [1, 2]$ for a Dantzig-type conic programming estimator. We show error bounds which approach that of the regular Lasso and the Dantzig selector in case the errors in $W$ are tending to 0.

研究动机与目标

• 解决协变量在观测之间存在依赖误差的高维回归模型问题，此类情况在神经科学和基因组学中普遍存在。
• 将测量误差矩阵 W 的列向量建模为具有依赖性，以捕捉神经响应数据中试验间的波动。
• 在存在此类依赖测量误差的情况下，建立对稀疏回归系数向量 β∗ 的统计一致性与收敛速率。
• 通过次高斯浓度与矩阵协方差模型，将经典 Lasso 和 Dantzig 选择器理论推广至具有结构化、依赖测量误差的设定。
• 推导出当测量误差方差趋于零时，误差界趋近于标准 Lasso 和 Dantzig 选择器误差界的误差界。

提出的方法

• 提出克罗内克和模型 Σ = A ⊕ B = A ⊗ If + Im ⊗ B，以表示测量误差矩阵 W 的协方差结构。
• 将观测设计矩阵 X 建模为 X = X₀ + W，其中 X₀ 的行独立且服从次高斯分布，W 的列独立且其协方差结构由 B 编码。
• 应用次高斯浓度不等式与网集方法，控制经验 Gram 矩阵 XT X 与其期望之间的偏差。
• 利用 ε-网与稀疏子空间上的并集界限，控制在测量误差下设计矩阵的等距性与限制特征值性质。
• 通过控制噪声与设计矩阵扰动，推导出 Lasso 和 Dantzig 类型估计器的估计误差的高概率界。
• 在真实设计矩阵满足稀疏性与限制特征值型条件的前提下，推导出估计器在 ℓq 范数（q = 1, 2）下的收敛速率。

实验结果

研究问题

• RQ1 当设计矩阵中的测量误差在观测之间存在依赖时，能否实现对稀疏回归系数向量 β∗ 的一致估计？
• RQ2 在具有依赖测量误差的高维错误变量模型中，Lasso 和 Dantzig 类型估计器的收敛速率如何？
• RQ3 当测量误差方差趋于零时，估计误差界的行为如何？它们是否趋近于经典方法的误差界？
• RQ4 在何种设计矩阵与误差协方差矩阵条件下，限制特征值性质可在测量误差存在下得以保持？
• RQ5 克罗内克和模型 Σ = A ⊕ B 是否能有效捕捉真实世界数据（如神经响应波动）中测量误差的依赖结构？

主要发现

• 论文证明，在稀疏性与限制特征值型条件下，Lasso 与 Dantzig 类型估计器对稀疏系数向量 β∗ 的恢复具有一致性。
• 推导出 ℓq 范数下的收敛速率：当 q = 1 和 q = 2 时，为 O(√(s log m / f))，其中 s 为稀疏度水平，f 为观测数。
• 两种估计器的误差界在测量误差方差趋于零时趋近于经典 Lasso 与 Dantzig 选择器的误差界。
• 扰动 Gram 矩阵 XT X 的最大稀疏特征值的上界为 ρmax(k, eA) ≤ ρmax(k, A)(1 + 10ε) + C4ετB，其中 τB = λmax(B)。
• 在对 ε 和 δ 的条件约束下，最小稀疏特征值的下界为 ρmin(k, eA) ≥ ρmin(k, A)(1 − 2δ)，确保了限制特征值性质的稳定性。
• 建立了 XT X 与其期望之间偏差的高概率浓度界，误差项通过次高斯网集方法与迹归一化进行控制。