[论文解读] Inference for Low-Rank Models

Victor Chernozhukov, Christian Hansen+2 more|arXiv (Cornell University)|Jul 6, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种针对奇异值发散且奇异向量非一致的低秩矩阵模型的两阶段推理程序，先使用核范数惩罚，再通过普通最小二乘法（OLS）进行第二阶段估计，以实现渐近正态估计与半参数效率。该方法即使在协变量存在强依赖时，也能构建线性泛函的可靠置信区间。

ABSTRACT

This paper studies inference in linear models with a high-dimensional parameter matrix that can be well-approximated by a ``spiked low-rank matrix.'' A spiked low-rank matrix has rank that grows slowly compared to its dimensions and nonzero singular values that diverge to infinity. We show that this framework covers a broad class of models of latent-variables which can accommodate matrix completion problems, factor models, varying coefficient models, and heterogeneous treatment effects. For inference, we apply a procedure that relies on an initial nuclear-norm penalized estimation step followed by two ordinary least squares regressions. We consider the framework of estimating incoherent eigenvectors and use a rotation argument to argue that the eigenspace estimation is asymptotically unbiased. Using this framework we show that our procedure provides asymptotically normal inference and achieves the semiparametric efficiency bound. We illustrate our framework by providing low-level conditions for its application in a treatment effects context where treatment assignment might be strongly dependent.

研究动机与目标

• 开发一种适用于系数矩阵近似低秩且奇异值发散的高维线性模型的有效推断框架。
• 解决在设计矩阵存在强依赖时，对低秩矩阵系数的线性泛函构造置信区间的挑战。
• 在弱正则性条件下，建立所提估计量的渐近正态性与半参数效率。
• 将现有推理方法从稀疏模型扩展至密集的低秩矩阵线性组合情形，特别是在存在持续处理分配的处理效应估计中。
• 提供一种基于样本分割的稳健程序，通过奇异向量的旋转方法消除正则化偏差。

提出的方法

• 对系数矩阵 Θ 进行核范数惩罚估计，以获得初始的低秩近似。
• 从初始估计量中提取右奇异向量，并将其作为第二阶段 OLS 回归中的协变量。
• 利用 OLS 估计左奇异向量并更新右奇异向量，从而通过旋转初始估计量来消除偏差。
• 将最终估计量构造为估计的左奇异向量与右奇异向量的外积，确保与真实特征子空间对齐。
• 采用样本分割以解耦估计与推断，降低估计误差与推断方差之间的依赖性。
• 基于噪声水平估计的经验分位数，采用插值法选择核范数正则化中的调参。

实验结果

研究问题

• RQ1 当矩阵具有发散奇异值时，能否为低秩矩阵系数的线性泛函构造渐近有效的置信区间？
• RQ2 所提出的两阶段 OLS 程序是否能消除核范数惩罚带来的偏差，并实现半参数效率？
• RQ3 尖峰奇异值与非一致性条件如何影响低秩模型中推断的有限样本表现？
• RQ4 该方法能否处理设计矩阵中的强依赖性，例如在矩阵补全或时间有序处理分配中的情形？
• RQ5 在弱条件（包括非独立同分布和持续协变量）下，估计量是否仍具有渐近正态性与效率？

主要发现

• 在尖峰奇异值与非一致性条件下，所提估计量对低秩矩阵的线性泛函实现了渐近正态性。
• 该方法达到了半参数效率界限，即在所有正则估计量中实现了最低可能的渐近方差。
• 模拟结果表明，在各种配置下，95% 置信区间的覆盖概率介于 0.942 至 0.956 之间，表明具有良好的有限样本表现。
• 估计量对秩 J 的选择具有鲁棒性，模拟中 J = 1 至 4 时覆盖概率保持稳定。
• 该方法在 X 存在强依赖性（如系统性处理分配或存在持续缺失的矩阵补全）时仍可进行推断。
• 理论结果证实，若无尖峰奇异值与非一致性条件，则逐元素推断不可能，验证了这些条件的必要性。