[论文解读] Adaptive Federated Learning in Resource Constrained Edge Computing Systems

Shiqiang Wang, Tiffany Tuor+5 more|arXiv (Cornell University)|Apr 14, 2018

Privacy-Preserving Technologies in Data参考文献 42被引用 85

一句话总结

本论文分析了在边缘节点上基于梯度下降的联邦学习，在数据分布非独立同分布且资源受限的情形下，推导收敛界并提出一个实时自适应算法以在资源预算下最小化损失时选择全局聚合频率。

ABSTRACT

Emerging technologies and applications including Internet of Things (IoT), social networking, and crowd-sourcing generate large amounts of data at the network edge. Machine learning models are often built from the collected data, to enable the detection, classification, and prediction of future events. Due to bandwidth, storage, and privacy concerns, it is often impractical to send all the data to a centralized location. In this paper, we consider the problem of learning model parameters from data distributed across multiple edge nodes, without sending raw data to a centralized place. Our focus is on a generic class of machine learning models that are trained using gradient-descent based approaches. We analyze the convergence bound of distributed gradient descent from a theoretical point of view, based on which we propose a control algorithm that determines the best trade-off between local update and global parameter aggregation to minimize the loss function under a given resource budget. The performance of the proposed algorithm is evaluated via extensive experiments with real datasets, both on a networked prototype system and in a larger-scale simulated environment. The experimentation results show that our proposed approach performs near to the optimum with various machine learning models and different data distributions.

研究动机与目标

• 在不将原始数据发送到集中位置的前提下，从分布式边缘数据中驱动模型参数的学习。
• 推导基于梯度下降的联邦学习在非独立同分布数据以及聚合之间存在多次本地更新时的理论收敛界。
• 开发一种控制算法，基于系统动态和模型特征实现聚合频率的实时自适应。
• 在真实数据集、硬件原型和仿真上评估所提方法，以展示近似最优性能。

提出的方法

• 建立一个基于梯度下降的联邦学习框架，具备本地更新和周期性全局聚合。
• 推导一个收敛界，考虑非独立同分布数据分布以及聚合之间的多次本地更新（tau）。
• 定义一个资源感知优化问题，在多种资源预算（M 种类型）下最小化最终损失。
• 提出一个控制算法，学习数据分布、系统动态和模型特征以自适应 tau 和总迭代次数 T。
• 使用理论结果近似求解资源受限的优化问题，随后在真实数据集和原型上进行实证验证。

实验结果

研究问题

• RQ1 边缘节点之间的非独立同分布数据如何影响联邦学习中分布式梯度下降的收敛？
• RQ2 在给定资源预算下，全局聚合的最优频率是多少以最小化训练损失？
• RQ3 一个实时控制算法能否在不同模型和数据分布下自适应聚合频率，以接近近似最优的学习性能？
• RQ4 聚合之间的本地更新步骤如何影响整体收敛和资源利用？

主要发现

• 本文给出一个新颖的分布式梯度下降在非i.i.d.数据和聚合之间任意数量本地更新下的收敛界。
• 提出一种控制算法，在固定资源预算下实现全局聚合频率的实时自适应，以最小化学习损失。
• 在真实数据集上的大量实验显示，该方法在不同模型、分布和系统配置下实现近似最优的性能。
• 该框架考虑多种资源类型（如时间、能量、带宽）及其每次更新成本，以优化训练效率。