[论文解读] Linear regression without correspondence

Daniel Hsu, Kevin Shi+1 more|arXiv (Cornell University)|May 19, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用 33

一句话总结

本文提出了一种常数维度下无对应关系线性回归的全多项式时间近似方案，并在独立同分布高斯协变量和无噪声条件下，利用格基约化实现了高效精确恢复。研究建立了实现一致估计所需信噪比的理论下限，表明即使在样本量极大时，由于缺乏对应关系，恢复仍具有统计上的挑战性。

ABSTRACT

This article considers algorithmic and statistical aspects of linear regression when the correspondence between the covariates and the responses is unknown. First, a fully polynomial-time approximation scheme is given for the natural least squares optimization problem in any constant dimension. Next, in an average-case and noise-free setting where the responses exactly correspond to a linear function of i.i.d. draws from a standard multivariate normal distribution, an efficient algorithm based on lattice basis reduction is shown to exactly recover the unknown linear function in arbitrary dimension. Finally, lower bounds on the signal-to-noise ratio are established for approximate recovery of the unknown linear function by any estimator.

研究动机与目标

• 开发当协变量与响应之间对应关系未知时的高效线性回归算法。
• 在缺失对应关系设定下，建立恢复真实线性模型的计算与统计极限。
• 为常数维度下的最小二乘问题提供全多项式时间近似方案（FPTAS）。
• 在独立同分布高斯协变量和零噪声条件下，设计基于格基约化的精确恢复算法。
• 推导出实现回归向量一致估计所需的信噪比（SNR）的非渐近下限。

提出的方法

• 为任意常数维度 d 提出最小二乘问题的全多项式时间近似方案（FPTAS），对 (1+ε)-近似解的运行时间为 (n/ε)^O(d)。
• 利用格基约化（Lenstra–Lenstra–Lovász 算法）将无标签回归问题转化为格问题，实现在独立同分布标准正态协变量和无测量噪声下的精确恢复。
• 通过协变量向量和目标向量的量化，使基于格的恢复算法在 n 和 d 上为多项式时间运行。
• 在 R^d 中构造单位球的 1/√2-打包，以生成可区分的目标向量，用于推导下限。
• 使用 Wasserstein-2 和 Kullback-Leibler 散度比较不同目标向量下响应的经验分布，从而应用 Fano 不等式。
• 利用 Fano 不等式推导估计误差的下限，表明任何估计器在低于特定 SNR 阈值时均无法实现高概率恢复。

实验结果

研究问题

• RQ1 我们能否为常数维度下的无标签最小二乘问题设计多项式时间近似算法？
• RQ2 当协变量为独立同分布高斯分布且对应关系缺失，在零噪声条件下，能否实现真实回归向量的精确恢复？
• RQ3 在无标签设定下，任何估计器实现回归向量一致恢复所需的最小信噪比（SNR）是多少？
• RQ4 无标签回归的计算与统计复杂度与经典有标签回归相比如何？
• RQ5 在特定分布假设下，能否利用基于格的方法高效求解高维无标签回归问题？

主要发现

• 为任意常数维度 d 的无标签最小二乘问题开发了 FPTAS，对 (1+ε)-近似解的运行时间为 (n/ε)^O(d)。
• 提出一种基于格基约化的精确恢复算法，在协变量为 i.i.d. N(0,I_d) 且无噪声时，经适当量化后可在 poly(n,d) 时间内运行。
• 对于独立同分布标准正态协变量，除非 SNR ≥ Ω(d / log log n)，否则任何估计器都无法实现小于 (1/24)‖w̄‖₂ 的估计误差。
• 对于 [-1/2,1/2]^d 上的独立同分布均匀协变量，除非 SNR ≥ 2，否则任何估计器都无法实现小于 (1/2)(1−1/√2)‖w̄‖₂ 的误差。
• 无标签设定下实现一致恢复所需的 SNR 显著高于经典回归，SNR 要求在正态情况下随 d/log log n 增长，在均匀情况下保持恒定。
• 下限结果表明，无标签回归的统计难度从根本上高于有标签回归，即使在渐近意义上也是如此。