[论文解读] Leveraging Spatial and Temporal Correlations in Sparsified Mean Estimation

Divyansh Jhunjhunwala, Ankur Mallick+3 more|arXiv (Cornell University)|Oct 14, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用 5

一句话总结

该论文提出了新颖的均值估计技术——Rand-k-Spatial 与 Rand-k-Temporal，通过利用分布式向量数据中的空间与时间相关性，在稀疏化条件下提升估计精度。通过仅修改服务器端解码过程而不改变节点计算，该方法在 PCA、K-Means 和逻辑回归任务中，相比最先进基线方法显著降低了估计误差，尤其在低带宽条件下表现更优。

ABSTRACT

We study the problem of estimating at a central server the mean of a set of vectors distributed across several nodes (one vector per node). When the vectors are high-dimensional, the communication cost of sending entire vectors may be prohibitive, and it may be imperative for them to use sparsification techniques. While most existing work on sparsified mean estimation is agnostic to the characteristics of the data vectors, in many practical applications such as federated learning, there may be spatial correlations (similarities in the vectors sent by different nodes) or temporal correlations (similarities in the data sent by a single node over different iterations of the algorithm) in the data vectors. We leverage these correlations by simply modifying the decoding method used by the server to estimate the mean. We provide an analysis of the resulting estimation error as well as experiments for PCA, K-Means and Logistic Regression, which show that our estimators consistently outperform more sophisticated and expensive sparsification methods.

研究动机与目标

• 通过利用数据向量中的空间与时间相关性，提升分布式系统中通信高效的均值估计性能。
• 设计服务器端估计器，在不增加资源受限节点的计算或存储负担的前提下提升估计精度。
• 提供一种实用且低开销的方法，兼容任意稀疏化方案，包括随机稀疏化、Top-k 稀疏化及自适应方法。
• 通过实证验证，相关性感知的估计方法可降低联邦学习与分布式优化等实际机器学习工作负载中的估计误差。
• 探索在基于时间相关性的估计中，存储成本与估计精度之间的权衡。

提出的方法

• 提出 Rand-k-Spatial，一类基于空间相关性参数调整权重的估计器家族，用于在随机稀疏化下提升均值估计精度。
• 提出 Rand-k-Temporal，利用服务器端先前传输的向量元素来重建缺失分量，从而利用迭代过程中的时间相关性。
• 采用一种内存高效的 Rand-k-Temporal 变体，每轮仅维护一个参考向量，将存储需求从 O(nd) 降低至 O(d)。
• 采用简单的平均加偏差校正进行解码，同时结合历史数据以预测稀疏化向量中的缺失条目。
• 设计的估计器对节点所使用的具体稀疏化方法保持无关性，确保与任何方案的兼容性。
• 从理论上分析均方误差，并通过在 PCA、K-Means 和逻辑回归上的实验验证性能。

实验结果

研究问题

• RQ1 在不增加节点端计算开销的前提下，利用分布式向量数据中的空间相关性是否能提升稀疏化均值估计的精度？
• RQ2 在通信受限的场景中，是否能有效利用迭代轮次间的时间相关性来降低服务器端的估计误差？
• RQ3 在实际机器学习工作负载中，相关性感知估计器的性能与最先进稀疏化方法相比如何？
• RQ4 在维持历史数据以利用时间相关性时，存储成本与估计精度之间的权衡关系如何？
• RQ5 在非独立同分布（Non-IID）数据划分下，基于空间相关性的估计性能是否会下降？若会，原因是什么？

主要发现

• 在 Fashion-MNIST 上的分布式 K-Means 任务中，Rand-k-Temporal 显著优于所有基线方法，实现更低的误差与更好的收敛性，尤其在低压缩率（k=0.05d）下表现突出。
• 在 K-Means 的 IID 数据划分中，Rand-k-Spatial 表现更优，因空间相关性更强；在 Non-IID 情况下，其性能与基线相当，因此时空间相关性较弱。
• 在 CIFAR-10 上的逻辑回归任务中，Rand-k-Temporal 在所有测试压缩因子（k=0.005d 至 0.02d）下，相比基线将训练损失降低并使测试准确率提升 2–3%。
• Rand-k-Temporal 的 O(d) 内存变体在未利用时间相关性的其他方法中实现了更低的误差下限，证实了该方法即使在存储受限下依然有效。
• Rand-k-Spatial 在 Non-IID 划分下的性能下降，表明空间相关性在非 IID 设置下不可靠，为未来工作提供了方向。
• 理论分析证实，两种估计器通过利用相关性均能降低均方误差，且误差衰减程度取决于空间与时间相关性的强弱。