[论文解读] Distributed linear regression by averaging

Edgar Dobriban, Yue Sheng|arXiv (Cornell University)|Sep 30, 2018

Random Matrices and Applications参考文献 63被引用 17

一句话总结

本文研究了在多台机器上通过一步法和迭代参数平均进行的分布式线性回归，发现在高维设置下（p ≈ n），估计误差和置信区间长度显著增加，而预测误差仅略有增加。利用随机矩阵理论，作者推导出精确的渐近效率，这些效率具有普遍性且与数据协方差无关，揭示了估计精度随机器数量线性下降的规律。

ABSTRACT

Distributed statistical learning problems arise commonly when dealing with large datasets. In this setup, datasets are partitioned over machines, which compute locally, and communicate short messages. Communication is often the bottleneck. In this paper, we study one-step and iterative weighted parameter averaging in statistical linear models under data parallelism. We do linear regression on each machine, send the results to a central server, and take a weighted average of the parameters. Optionally, we iterate, sending back the weighted average and doing local ridge regressions centered at it. How does this work compared to doing linear regression on the full data? Here we study the performance loss in estimation, test error, and confidence interval length in high dimensions, where the number of parameters is comparable to the training data size. We find the performance loss in one-step weighted averaging, and also give results for iterative averaging. We also find that different problems are affected differently by the distributed framework. Estimation error and confidence interval length increase a lot, while prediction error increases much less. We rely on recent results from random matrix theory, where we develop a new calculus of deterministic equivalents as a tool of broader interest.

研究动机与目标

• 分析在 p ≈ n 的高维设置下，使用参数平均的分布式线性回归的统计性能。
• 量化分布式学习框架中通信效率与统计精度之间的权衡。
• 理解不同的学习目标——估计、预测和推断——如何受到数据在各台机器上划分的影响。
• 开发一种新颖的理论工具——确定性等价物微积分，用于分析随机矩阵理论中的渐近行为。

提出的方法

• 在每台独立机器上对 k 个分布式数据子集分别执行普通最小二乘法（OLS）回归。
• 在中央服务器上，使用基于局部样本大小和协方差结构的最优权重，对局部 OLS 估计量进行加权平均。
• 提出一种迭代算法，其中在前一全局平均值周围执行局部岭回归，以改善收敛性并降低误差。
• 利用近期的渐近随机矩阵理论结果，特别是确定性等价物，推导误差度量的精确渐近表达式。
• 在比例渐近（p/n → c）下，推导估计、预测和置信区间长度的闭式渐近相对效率。
• 通过在高斯模型和椭球模型上以及真实世界纽约航班数据上的模拟，验证理论结果。

实验结果

研究问题

• RQ1 在高维设置下，分布式线性回归中的一步参数平均对估计误差的影响如何，相较于集中式 OLS？
• RQ2 在分布式平均下，预测误差增加了多少，为何其对误差的敏感度低于估计误差？
• RQ3 分布式估计量的渐近相对效率是否具有普遍性，是否独立于数据协方差结构或局部样本大小？
• RQ4 通过局部岭回归实现的迭代参数平均能否缩小与集中学习的性能差距，其带来的计算-统计权衡是什么？
• RQ5 分布式线性回归中的性能损失的精确数学结构是什么，如何利用随机矩阵理论进行量化？

主要发现

• 一步加权平均在估计误差和置信区间长度上导致显著且可量化的性能损失，其效率随机器数量 k 线性下降。
• 预测误差在分布式平均下增加较少，表明预测对分布式框架的鲁棒性高于估计或推断。
• 估计的渐近相对效率具有普遍性，不依赖于数据协方差矩阵或局部样本大小，仅取决于 k 和比例 c = p/n。
• 通过以全局平均为中心的局部岭回归实现的迭代参数平均显著降低了误差，为获得更优的统计性能提供了路径。
• 估计和预测的相对效率的理论公式在合成数据和真实世界数据（如纽约航班数据集）上与实证结果高度吻合，验证了渐近近似结果的准确性。
• 抽样变异可能导致实证相对效率超过 1，但理论期望值始终 ≤1，确认了渐近边界的正确性。