[论文解读] EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning

Shay Vargaftik, Ran Ben Basat+4 more|arXiv (Cornell University)|Aug 19, 2021

Privacy-Preserving Technologies in Data被引用 6

一句话总结

EDEN 是一种通信高效且鲁棒的联邦学习分布式均值估计（DME）算法，通过结合随机旋转与确定性量化，在异构通信预算和丢包条件下实现无偏、低误差的均值估计。其在极端压缩和网络丢包条件下仍能以极低通信开销实现比最先进方法更低的归一化均方误差（NMSE），表现更优。

ABSTRACT

Distributed Mean Estimation (DME) is a central building block in federated learning, where clients send local gradients to a parameter server for averaging and updating the model. Due to communication constraints, clients often use lossy compression techniques to compress the gradients, resulting in estimation inaccuracies. DME is more challenging when clients have diverse network conditions, such as constrained communication budgets and packet losses. In such settings, DME techniques often incur a significant increase in the estimation error leading to degraded learning performance. In this work, we propose a robust DME technique named EDEN that naturally handles heterogeneous communication budgets and packet losses. We derive appealing theoretical guarantees for EDEN and evaluate it empirically. Our results demonstrate that EDEN consistently improves over state-of-the-art DME techniques.

研究动机与目标

• 解决联邦学习中因通信约束和网络异构性导致的分布式均值估计不准确问题。
• 设计一种在不同客户端通信预算和丢包条件下仍能保持无偏估计的 DME 方法。
• 在通信开销极低的前提下，实现比现有技术更低的归一化均方误差（NMSE）。
• 通过鲁棒量化确保无偏估计，从而消除对误差反馈机制的依赖。
• 在低比特预算下实现跨设备和同质联邦学习设置中的有效模型聚合。

提出的方法

• 在量化前对客户端梯度应用均匀随机旋转，以均衡各坐标分量的幅值，降低量化误差。
• 对旋转后的向量使用确定性一位量化，随后进行缩放以保持无偏性。
• 将估计误差分解为旋转、量化和稀疏化三部分，支持理论分析。
• 将网络丢包建模为独立的稀疏化过程，证明 EDEN 的误差对旋转与丢包的顺序不敏感。
• 通过让客户端发送旋转后量化梯度，服务器执行逆旋转并进行平均，将方法集成到联邦学习流水线中。
• 理论分析证明，EDEN 在部分或任意丢包条件下，仍能以每坐标 O(1) 比特实现 O(1/n) 的 NMSE。

实验结果

研究问题

• RQ1 是否有一种 DME 方案能在不依赖误差反馈的前提下，于任意丢包和异构通信预算下保持低估计误差？
• RQ2 随机旋转与确定性量化相结合，对分布式设置中均值估计的偏差与方差有何影响？
• RQ3 若将网络丢包视为一种稀疏化形式，此类 DME 方法的理论误差界是什么？与标准压缩方法相比如何？
• RQ4 EDEN 在比特预算有限和数据异构的现实联邦学习场景中表现如何？
• RQ5 EDEN 是否能在极低比特率下（如每梯度坐标 0.1–0.5 比特）实现收敛，而其他方法则失效？

主要发现

• EDEN 仅使用每坐标 O(1) 比特即实现 O(1/n) 的 NMSE，达到最先进方法的理论下界，且更具鲁棒性。
• 在丢包环境下，EDEN 的 vNMSE（向量化 NMSE）等价于相同接收坐标比例下的亚比特压缩，验证了其鲁棒性。
• 在 PCA 的分布式幂迭代中，EDEN 在 MNIST 和 CIFAR-10 上所有比特预算（1 至 8 比特）下均实现最低的 L2 误差。
• 在 10 个客户端的同质联邦学习中，EDEN 在 CIFAR-10 和 CIFAR-100 上实现了最高的测试与训练准确率，尤其在低比特预算下（如每坐标 0.1–0.5 比特）表现更优。
• 在 50 个客户端的跨设备联邦学习中，每坐标仅 0.05 比特时，EDEN 在 MNIST 和 CIFAR-10 上仍保持高准确率，即使在严重标签偏移下也优于所有基线方法。
• EDEN 是唯一在 0.5 比特预算下于 CIFAR-100 上实现收敛的方法，证明其在极端压缩场景下的有效性。