[论文解读] Compressed Regression

Shuheng Zhou, John Lafferty+1 more|arXiv (Cornell University)|Jun 4, 2007

Sparse and Compressive Sensing Techniques参考文献 19被引用 15

一句话总结

该论文提出压缩回归方法，通过随机线性投影实现使用压缩数据的精确稀疏线性回归，从而在保护隐私的同时保持数据安全。该方法建立了理论保证：在压缩数据上进行ℓ1-正则化回归可实现稀疏一致性（正确变量选择）和一致性（最优预测），同时压缩数据与原始数据之间的互信息衰减至零，确保信息论隐私。

ABSTRACT

Recent research has studied the role of sparsity in high dimensional regression and signal reconstruction, establishing theoretical limits for recovering sparse models from sparse data. In this paper we study a variant of this problem where the original n input variables are compressed by a random linear transformation to m<1-regularized compressed regression to identify the nonzero coefficients in the true model with probability approaching one, a property called “sparsistence.” In addition, we show that ℓ₁-regularized compressed regression asymptotically predicts as well as an oracle linear model, a property called “persistence.” Finally, we characterize the privacy properties of the compression procedure in information-theoretic terms, establishing upper bounds on the rate of information communicated between the compressed and uncompressed data that decay to zero.

研究动机与目标

• 在通过随机线性变换压缩以减少存储和计算成本的数据上，实现高维稀疏回归。
• 确保压缩数据保留识别正确相关预测变量集合的能力（稀疏一致性）和实现最优预测性能（一致性）。
• 通过证明原始数据与压缩数据之间互信息衰减至零，提供信息论隐私保证。
• 将压缩感知和稀疏回归的理论基础扩展至隐私保护的数据转换框架。
• 证明在压缩数据上进行ℓ1-正则化回归在渐近意义上与在原始数据上的表现相当，无论是在变量选择还是预测方面。

提出的方法

• 通过一个随机的m × n矩阵8，将原始的n × p数据矩阵X压缩，生成eX = 8X，其中m ≪ n。
• 对压缩数据应用ℓ1-正则化最小二乘法（Lasso）：eβm = argmin_β (1/(2m))∥eY − eXβ∥²₂ + λm∥β∥₁。
• 使用随机仿射变换（eX = 8X + 1）进一步增强隐私，尽管分析主要集中在线性压缩上。
• 建立关于m和λm的理论条件，以确保稀疏一致性和一致性，依赖于随机投影下的非相干性和大数集中性。
• 利用互信息I(eX; X)/np分析隐私，表明其随m增加而衰减至零，即使压缩矩阵8已知亦成立。
• 借助压缩感知和随机矩阵理论的结果，对真实稀疏模型的估计误差和恢复概率进行上界估计。

实验结果

研究问题

• RQ1 当m ≪ n时，压缩数据上的ℓ1-正则化回归能否成功恢复真实的非零系数集合（稀疏一致性）？
• RQ2 在相同条件下，压缩回归是否能实现与原始数据上相当的预测性能（一致性）？
• RQ3 该压缩过程的信息论隐私保证是什么，特别是原始数据与压缩数据之间互信息的性质如何？
• RQ4 压缩样本数m和正则化参数λm如何影响真实稀疏模型的恢复？
• RQ5 使用仿射变换而非线性变换是否能增强隐私保证，且是否会影响统计性能？

主要发现

• 当m满足C₁s² log(np) ≤ m ≤ s/(C₂n)，且λm → 0，同时mλ²m log p → ∞时，稀疏一致性得以实现，正确支持集以概率趋于1被恢复。
• 当log₂(np) ≤ m ≤ n，且ℓ1-球半径Ln,m = o((m/log(np))¹/⁴)时，一致性成立，保证压缩估计器的预测风险收敛至Oracle风险。
• 随着m增加，原始数据X与压缩数据eX之间的互信息衰减至零，即使压缩矩阵8已知，仍可提供信息论隐私。
• 理论分析表明，压缩Gram矩阵的逆矩阵(1/m)ZᵀS ZS在∞-范数下以高概率被控制在4/(3η)以内，从而实现对估计误差的控制。
• 该方法对噪声具有鲁棒性，并在随机投影下保持统计一致性，恢复误差随压缩样本数的增加而减小。
• 即使压缩矩阵已知，当m ≪ min(n, p)时，仍无法从压缩数据中恢复原始数据，因为系统高度欠定。