[论文解读] A Two-Stage Approach to Multivariate Linear Regression with Sparsely Mismatched Data

Martin Slawski, Emanuel Ben‐David+1 more|arXiv (Cornell University)|Jul 16, 2019

Sparse and Compressive Sensing Techniques参考文献 56被引用 9

一句话总结

本文提出了一种两阶段方法，用于处理具有稀疏错配数据的多元线性回归，其中响应变量与预测变量对未完全对齐。首先，通过将错配视为污染来估计回归系数；其次，通过匹配恢复广义排列；关键结果表明，当 $ m = \Omega(\log n) $ 个响应变量时，精确恢复排列所需的信噪比不再依赖于样本量 $ n $，显著放宽了条件。

ABSTRACT

A tacit assumption in linear regression is that (response, predictor)-pairs correspond to identical observational units. A series of recent works have studied scenarios in which this assumption is violated under terms such as ``Unlabeled Sensing and ``Regression with Unknown Permutation''. In this paper, we study the setup of multiple response variables and a notion of mismatches that generalizes permutations in order to allow for missing matches as well as for one-to-many matches. A two-stage method is proposed under the assumption that most pairs are correctly matched. In the first stage, the regression parameter is estimated by handling mismatches as contaminations, and subsequently the generalized permutation is estimated by a basic variant of matching. The approach is both computationally convenient and equipped with favorable statistical guarantees. Specifically, it is shown that the conditions for permutation recovery become considerably less stringent as the number of responses $m$ per observation increase. Particularly, for $m = Ω(\log n)$, the required signal-to-noise ratio no longer depends on the sample size $n$. Numerical results on synthetic and real data are presented to support the main findings of our analysis.

研究动机与目标

• 解决因缺失或一对多匹配导致 (响应, 预测变量) 对错配时的多元线性回归问题。
• 开发一种计算高效的方法，在稀疏错配下仍保持统计稳健性。
• 建立能够精确恢复响应与预测变量之间真实对应关系的条件。
• 证明增加响应变量数量可降低排列恢复所需的信噪比。

提出的方法

• 第一阶段通过将错配视为污染，采用鲁棒估计方法来估计回归系数矩阵。
• 第二阶段通过基本匹配程序恢复将响应与预测变量对齐的广义排列。
• 利用系数矩阵的稳定秩来增强匹配对与错配对之间的可分性。
• 假设大多数对都是正确匹配的，并利用此性质识别出一个可靠的大型数据子集用于初始估计。
• 该方法计算高效，避免了穷举搜索或 NP-难优化。
• 在可分性和错配比例有界的假设下，推导出理论保证。

实验结果

研究问题

• RQ1 当响应变量与预测变量数据错配（存在缺失或一对多匹配）时，能否准确估计多元线性回归？
• RQ2 增加响应变量数量如何影响精确排列恢复所需的信噪比？
• RQ3 两阶段方法能否在稀疏错配下实现回归系数与排列的一致估计？
• RQ4 在何种条件下可确保响应与预测变量对之间的真实对应关系被完美恢复？
• RQ5 与 CRR 和 EM 等现有方法相比，所提方法在估计精度和鲁棒性方面表现如何？

主要发现

• 当 $ m = \Omega(\log n) $ 个响应变量时，精确排列恢复所需的信噪比不再依赖于样本量 $ n $，显著放宽了条件。
• 所提两阶段方法在真实数据上实现了 $ R^2 = 0.715 $，优于朴素最小二乘法的 0.66，接近 0.725 的理想值。
• 该方法将估计 $ B^* $（含截距项）的 RMSE 降低至 298.9，而朴素最小二乘法为 431.4。
• CRR 在使用理想调参时性能略优，但所提方法更具鲁棒性且计算效率更高。
• 基于 EM 的方法表现较差，$ R^2 $ 降至 0.625，RMSE 较高，表明在错配数据上存在过拟合。
• 该方法保持了有利的统计保证，即使错配比例远离 100% 时也表现良好，表明其有潜力扩展至更高错配率。