[论文解读] Federated Learning via Over-the-Air Computation

Kai Yang, Tao Jiang+2 more|arXiv (Cornell University)|Dec 31, 2018

Sparse and Compressive Sensing Techniques参考文献 46被引用 50

一句话总结

本论文提出了一种用于联邦学习的快速模型聚合方法，利用 over-the-air computation 来利用无线信道叠加，并通过新颖的基于 DC 的稀疏与低秩优化框架引导的联合设备选择与波束成形。

ABSTRACT

The stringent requirements for low-latency and privacy of the emerging high-stake applications with intelligent devices such as drones and smart vehicles make the cloud computing inapplicable in these scenarios. Instead, edge machine learning becomes increasingly attractive for performing training and inference directly at network edges without sending data to a centralized data center. This stimulates a nascent field termed as federated learning for training a machine learning model on computation, storage, energy and bandwidth limited mobile devices in a distributed manner. To preserve data privacy and address the issues of unbalanced and non-IID data points across different devices, the federated averaging algorithm has been proposed for global model aggregation by computing the weighted average of locally updated model at each selected device. However, the limited communication bandwidth becomes the main bottleneck for aggregating the locally computed updates. We thus propose a novel over-the-air computation based approach for fast global model aggregation via exploring the superposition property of a wireless multiple-access channel. This is achieved by joint device selection and beamforming design, which is modeled as a sparse and low-rank optimization problem to support efficient algorithms design. To achieve this goal, we provide a difference-of-convex-functions (DC) representation for the sparse and low-rank function to enhance sparsity and accurately detect the fixed-rank constraint in the procedure of device selection. A DC algorithm is further developed to solve the resulting DC program with global convergence guarantees. The algorithmic advantages and admirable performance of the proposed methodologies are demonstrated through extensive numerical results.

研究动机与目标

• 通过实现多设备的快速、同时模型更新来提高 FedAvg 的通信效率。
• 在均方误差（MSE）失真约束下，最大化每轮聚合中参与的设备数量。
• 开发算法工具，带有收敛性保证，求解由此产生的稀疏与低秩优化问题。
• 通过统一的 DC 编程方法解决设备选择与波束成形中的非凸性问题。

提出的方法

• 将全局聚合建模为可通过 over-the-air 传输计算的 nomographic 函数。
• 利用矩阵提升，将联合设备选择与接收端波束成形建模为稀疏与低秩优化问题。
• 为稀疏性（通过 l0 范数）和秩约束（通过 Tr(M)-||M||2）引入凸凹函数分解（DC）表示。
• 通过对原问题/对偶问题进行逐次凸松弛，开发具有全局收敛性保证的 DC 算法。
• 提供一个两步框架：先诱导稀疏性以指导设备排序，然后进行可行性检验，在保持秩-one 提升的同时满足 MSE 约束。
• 在基线方法下，展示改进的学习性能（例如在 CIFAR-10 上的 SVM）和更快的收敛速度。

实验结果

研究问题

• RQ1 在多设备无线环境中，如何通过 over-the-air computation 加速 FedAvg 聚合？
• RQ2 在满足给定的模型聚合 MSE 失真约束下，可以同时选取的最大设备数量是多少？
• RQ3 一个统一的 DC 框架是否能够有效地诱导稀疏性并强制秩为一的约束，从而解决联合设备选择和波束成形问题？
• RQ4 与现有方法在标准数据集上的表现相比，所提方法是否能获得更好的学习性能和更快的收敛速度？

主要发现

• 提出的 AirComp-based 方法通过并发传输并利用信道叠加实现快速的全局模型聚合。
• 开发了一个稀疏与低秩优化模型，在 MSE 约束下处理设备选择和波束成形。
• 为 l0-范数和秩为一的约束提供的新颖 DC 表示，使得得到无参的稀疏性方法和精确的可行性检测。
• 具有全局收敛性保证的 DC 算法在仿真中优于最先进的方法。
• 在 CIFAR-10 的 SVM 训练实验中，所提出的方法显示出更高的预测准确性和更快的收敛速度。