[论文解读] Energy-Aware Analog Aggregation for Federated Learning with Redundant Data

Yuxuan Sun, Sheng Zhou+1 more|arXiv (Cornell University)|Nov 1, 2019

Privacy-Preserving Technologies in Data参考文献 18被引用 12

一句话总结

本文提出了一种面向无线信道中使用模拟聚合的联邦学习的节能型动态工作者调度策略，实现了在能量约束下的高效模型更新。通过利用数据冗余和李雅普诺夫优化，该方法在严格能量预算下实现了接近最优的准确率——在数据存储加倍的情况下，MNIST测试准确率提升了9.8%，同时比贪心策略多调度6%的工作者。

ABSTRACT

Federated learning (FL) enables workers to learn a model collaboratively by using their local data, with the help of a parameter server (PS) for global model aggregation. The high communication cost for periodic model updates and the non-independent and identically distributed (i.i.d.) data become major bottlenecks for FL. In this work, we consider analog aggregation to scale down the communication cost with respect to the number of workers, and introduce data redundancy to the system to deal with non-i.i.d. data. We propose an online energy-aware dynamic worker scheduling policy, which maximizes the average number of workers scheduled for gradient update at each iteration under a long-term energy constraint, and analyze its performance based on Lyapunov optimization. Experiments using MNIST dataset show that, for non-i.i.d. data, doubling data storage can improve the accuracy by 9.8% under a stringent energy budget, while the proposed policy can achieve close-to-optimal accuracy without violating the energy constraint.

研究动机与目标

• 解决无线网络中联邦学习（FL）面临的高通信成本与非独立同分布（non-i.i.d.）数据挑战。
• 在最大化调度工作者数量的同时降低能耗。
• 通过数据交换或重叠数据采集引入数据冗余，以缓解非独立同分布数据带来的性能下降。
• 设计一种具有性能保证的在线、分布式、节能型调度策略，采用李雅普诺夫优化。
• 在真实环境中评估数据冗余、能量预算与模型准确率之间的权衡。

提出的方法

• 提出一种基于实时能量可用性和队列积压的动态工作者调度策略，利用李雅普诺夫优化实现。
• 通过无线多址信道上的模拟聚合，利用波形叠加计算全局模型和，从而降低通信开销。
• 通过允许工作者共享或采集重叠数据，引入数据冗余，提升对非独立同分布数据分布的鲁棒性。
• 采用漂移加惩罚框架，平衡能量使用与调度性能，最小化包含效用和队列积压的代价函数。
• 推导出闭式调度决策：若其能量亏空按队列积压加权后低于涉及拉格朗日乘子的阈值，则调度该工作者。
• 通过李雅普诺夫漂移分析性能，证明该策略在保证队列稳定性和满足能量约束的前提下，实现了接近最优的效用。

实验结果

研究问题

• RQ1 在非独立同分布数据的联邦学习系统中，如何高效调度能量受限的工作者？
• RQ2 在有限能量预算下，数据冗余在多大程度上能提升模型准确率？
• RQ3 一种在线、分布式调度策略是否能在无未来信息或信道状态信息的情况下实现接近最优的性能？
• RQ4 与贪心调度策略相比，所提出的动态策略在工作者利用率和收敛速度方面表现如何？
• RQ5 在模拟聚合联邦学习中，数据冗余、能耗与模型准确率之间的权衡关系如何？

主要发现

• 在严格能量预算（5 J）下，将数据存储加倍（冗余因子 r=2）可使MNIST模型准确率提升9.8%。
• 所提出的节能型动态调度策略在每轮迭代中平均调度90.9%的工作者，优于相同能量预算下贪心策略的84.6%。
• 该动态策略在训练初期能量充足时优先调度更多工作者，从而加速MLP模型的收敛。
• 该策略在严格遵守长期能量约束的前提下实现了接近最优的准确率，该结论通过李雅普诺夫优化得到证明。
• 当冗余度超过 r=2 后，进一步增加数据冗余带来的准确率提升收益递减。
• 理论分析证实，该策略能够保持有界的队列积压，并以高概率长期满足能量约束。