[论文解读] Adaptive Estimation of Multivariate Regression with Hidden Variables

Xin Bing, Yang Ning+1 more|arXiv (Cornell University)|Mar 30, 2020

Statistical Methods and Inference参考文献 54被引用 4

一句话总结

该论文提出HIVE，一种新颖算法，用于在存在但未观测到的隐变量时，对多元回归系数进行自适应估计。通过在两步过程中结合组套索（group-lasso）和岭回归惩罚——首先估计系数矩阵和残差结构，然后投影出隐变量影响——该方法在同方差和异方差误差下均建立了非渐近误差界，确保了可识别性与统计一致性。

ABSTRACT

This paper studies the estimation of the coefficient matrix $\Ttheta$ in multivariate regression with hidden variables, $Y = (\Ttheta)^TX + (B^*)^TZ + E$, where $Y$ is a $m$-dimensional response vector, $X$ is a $p$-dimensional vector of observable features, $Z$ represents a $K$-dimensional vector of unobserved hidden variables, possibly correlated with $X$, and $E$ is an independent error. The number of hidden variables $K$ is unknown and both $m$ and $p$ are allowed but not required to grow with the sample size $n$. Since only $Y$ and $X$ are observable, we provide necessary conditions for the identifiability of $\Ttheta$. The same set of conditions are shown to be sufficient when the error $E$ is homoscedastic. Our identifiability proof is constructive and leads to a novel and computationally efficient estimation algorithm, called HIVE. The first step of the algorithm is to estimate the best linear prediction of $Y$ given $X$ in which the unknown coefficient matrix exhibits an additive decomposition of $\Ttheta$ and a dense matrix originated from the correlation between $X$ and the hidden variable $Z$. Under the row sparsity assumption on $\Ttheta$, we propose to minimize a penalized least squares loss by regularizing $\Ttheta$ via a group-lasso penalty and regularizing the dense matrix via a multivariate ridge penalty. Non-asymptotic deviation bounds of the in-sample prediction error are established. Our second step is to estimate the row space of $B^*$ by leveraging the covariance structure of the residual vector from the first step. In the last step, we remove the effect of hidden variable by projecting $Y$ onto the complement of the estimated row space of $B^*$. Non-asymptotic error bounds of our final estimator are established. The model identifiability, parameter estimation and statistical guarantees are further extended to the setting with heteroscedastic errors.

研究动机与目标

• 解决在未观测到的隐变量与可观测特征相关时，估计多元回归系数的挑战。
• 在存在隐变量的情况下，建立系数矩阵 Θ 可识别性的必要与充分条件。
• 开发一种计算高效的估计算法，可处理未知数量的隐变量及增长维度。
• 在同方差和异方差误差结构下，提供非渐近预测与估计误差界。
• 将框架扩展至响应变量数量（m）和预测变量数量（p）随样本量 n 增长的情形。

提出的方法

• 将多元回归模型表述为 Y = Θ^T X + (B^*)^T Z + E，其中 Z 表示与 X 相关的未观测隐变量。
• 通过构造性证明，在误差为同方差时，给出一组既必要又充分的条件，以保证 Θ 的可识别性。
• 提出 HIVE 算法：首先，估计 Y 关于 X 的最佳线性预测器，将 Θ 分解为稀疏与密集两部分。
• 通过在 Θ 上使用组套索、在密集部分使用多元岭回归，最小化惩罚最小二乘损失，以实现行稀疏性与稳定性。
• 通过分析第一步残差的协方差结构，估计 B^* 的行空间。
• 通过将 Y 投影到 B^* 估计行空间的正交补空间，去除隐变量影响，从而获得最终估计器。

实验结果

研究问题

• RQ1 在存在隐变量的多元回归中，系数矩阵 Θ 在何种条件下可识别？
• RQ2 当隐变量数量 K 未知且 Z 未观测时，如何一致地估计 Θ？
• RQ3 在行稀疏性与误差异方差性下，所提估计器的非渐近预测误差行为如何？
• RQ4 能否在保持统计保证的前提下，使估计过程计算高效？
• RQ5 残差的协方差结构如何指导隐变量空间的估计？

主要发现

• 当误差为同方差时，所提出的可识别性条件既必要又充分，可在这些约束下实现 Θ 的精确恢复。
• HIVE 算法通过结合组套索与岭回归正则化的两步过程，实现了非渐近样本内预测误差界。
• 在将 Y 投影到 B^* 估计行空间的正交补空间后，Θ 的最终估计器实现了非渐近误差界。
• 即使响应变量数量 m 和预测变量数量 p 随样本量 n 增长，该方法仍保持有效且统计一致。
• 框架被扩展至异方差误差，保持了可识别性，并在相同结构假设下提供了误差界。
• 可识别性的构造性证明直接指导了算法设计，确保了估计过程在计算效率与统计可靠性之间达到平衡。