[论文解读] Communication-efficient sparse regression: a one-shot approach

Jason D. Lee, Yuekai Sun+2 more|arXiv (Cornell University)|Mar 14, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 46

一句话总结

本文提出了一种一次性通信高效的分布式稀疏回归方法，通过在各机器上平均去偏Lasso估计量实现。当机器数量在样本量上为次线性时，该方法实现了与集中式Lasso相同的收敛速率，通过一个校正项克服了标准Lasso平均带来的偏差，从而在最小通信量下恢复了估计精度。

ABSTRACT

We devise a one-shot approach to distributed sparse regression in the high-dimensional setting. The key idea is to average "debiased" or "desparsified" lasso estimators. We show the approach converges at the same rate as the lasso as long as the dataset is not split across too many machines. We also extend the approach to generalized linear models.

研究动机与目标

• 通过最小化机器之间的数据传输，解决分布式高维统计学习中的通信瓶颈。
• 克服在分布式设置中Lasso估计量固有的偏差，其中对局部Lasso估计量的简单平均无法提升估计精度。
• 开发一种在一次性、低通信量的分布式框架下，保持集中式Lasso统计效率的方法。
• 将所提方法扩展至标准线性回归以外的广义线性模型。
• 确保估计量在机器数量和数据划分的温和条件下，达到集中式Lasso的最优收敛速率。

提出的方法

• 提出一种一次性分布式算法，在每台机器上使用其子集数据计算局部去偏Lasso估计量。
• 使用去偏Lasso估计量 $\hat{\beta}^{d} = \hat{\beta} + \frac{1}{n}\hat{\Theta}X^{T}(y - X\hat{\beta})$ 来校正Lasso正则化引入的偏差。
• 将所有机器的去偏估计量平均，形成全局估计量 $\bar{\beta} = \frac{1}{m}\sum_{k=1}^{m}\hat{\beta}^{d}_{k}$，将通信量最小化为单轮通信。
• 采用一致估计量 $\hat{\Theta}$ 作为样本协方差矩阵 $\hat{\Sigma} = \frac{1}{n}X^{T}X$ 的近似逆矩阵，通过邻域选择或类似方法获得。
• 对平均后的估计量施加阈值处理，以强化稀疏性并改善有限样本性能。
• 利用估计误差在 $(\infty, c's_0)$-范数上的高概率界，建立在次高斯设计和噪声假设下的收敛速率。

实验结果

研究问题

• RQ1 一次性分布式算法能否在高维稀疏回归中实现与集中式Lasso相同的统计收敛速率？
• RQ2 对去偏Lasso估计量的平均是否能消除在分布式设置中导致标准Lasso估计量简单平均失效的偏差？
• RQ3 在通信高效的单轮方法中，机器数量 $m$ 的最大值是多少，才能保持最优的 $O(\sqrt{s_0 \log p / N})$ 收敛速率？
• RQ4 该方法在广义线性模型中的表现如何？理论保证能否扩展到线性模型之外？
• RQ5 能否利用局部Lasso估计量的经验稀疏性来一致估计真实稀疏度 $s_0$ 以用于阈值处理？

主要发现

• 当 $m \lesssim N / (s_0 \log p)$ 时，所提出的去偏Lasso估计量的一次性平均方法在 $\ell_2$-范数下的收敛速率与集中式Lasso估计量相同，为 $O_P(\sqrt{s_0 \log p / N})$。
• 误差界中的方差项缩放为 $O_P(\sqrt{\log p / N})$，与集中式Lasso速率一致，而偏差项为 $O_P(\sqrt{s_0 \log p / n})$。
• 当 $m \lesssim N / (s_0 \log p)$ 时，误差界中的主导项为方差项，其速率与集中式Lasso一致，证实了统计最优性。
• 在相同条件下，该方法在 $\ell_2$ 和 $\ell_1$ 范数下均保持一致性，满足 $\|\bar{\beta}^{ht} - \beta^*\|_2 \lesssim_P \sqrt{s_0 \log p / N}$ 和 $\|\bar{\beta}^{ht} - \beta^*\|_1 \lesssim_P \sqrt{s_0^2 \log p / N}$。
• 局部Lasso估计量的经验稀疏性 $\hat{s}_0$ 在温和条件下以高概率一致估计真实稀疏度 $s_0$，满足 $\hat{s}_0 \leq C s_0$ 几乎必然成立。
• 该方法可扩展至广义线性模型，在保持通信效率和统计性能方面与单轮框架一致。