[论文解读] Adaptive Task Allocation for Asynchronous Federated and Parallelized Mobile Edge Learning

Umair Mohammad, Sameh Sorour|arXiv (Cornell University)|May 5, 2019

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文提出了一种自适应的、异构感知的任务分配方案，用于异步联邦化与并行化的移动边缘学习，通过联合优化本地更新次数和数据批大小以最小化梯度延迟。通过构建一个松弛的非凸二次约束规划问题，并利用KKT条件与一种建议-改进方法求解，该方法在梯度延迟和模型准确率方面均优于同步方案与均等分配的异步基线方案。

ABSTRACT

This paper proposes a scheme to efficiently execute distributed learning tasks in an asynchronous manner while minimizing the gradient staleness on wireless edge nodes with heterogeneous computing and communication capacities. The approach considered in this paper ensures that all devices work for a certain duration that covers the time for data/model distribution, learning iterations, model collection and global aggregation. The resulting problem is an integer non-convex program with quadratic equality constraints as well as linear equality and inequality constraints. Because the problem is NP-hard, we relax the integer constraints in order to solve it efficiently with available solvers. Analytical bounds are derived using the KKT conditions and Lagrangian analysis in conjunction with the suggest-and-improve approach. Results show that our approach reduces the gradient staleness and can offer better accuracy than the synchronous scheme and the asynchronous scheme with equal task allocation.

研究动机与目标

• 为解决由于边缘设备间计算与通信能力异构性导致的分布式移动边缘学习中的梯度延迟问题。
• 设计一种异步学习框架，使设备在每个全局聚合周期内根据其自身能力执行不同数量的本地更新。
• 联合优化数据批分配与本地更新次数，以最小化延迟并最大化模型准确率。
• 开发一种可扩展且实用的解决方案，避免同步方案的低效性以及均等分配异步方案的次优性能。
• 提供理论边界，并利用KKT条件与拉格朗日松弛结合建议-改进优化方法，获得近似最优解。

提出的方法

• 构建一个整数二次约束线性规划（IQCLP），用于联合优化每个设备 $k$ 的数据批大小 $d_k$ 与本地更新次数 $\tau_k$。
• 放松整数约束，将NP难问题转化为可通过标准求解器求解的非凸二次约束规划（QCLP）。
• 应用Karush-Kuhn-Tucker（KKT）最优性条件与拉格朗日分析，推导出最优 $\tau_k^*$ 与 $d_k^*$ 的解析近似解。
• 引入一种建议-改进（SAI）迭代优化过程，以提升松弛解的质量，并加速收敛至近似最优值。
• 通过不等式对 $-z + \tau_k - \tau_l \leq 0$ 与 $-z - \tau_k + \tau_l \leq 0$ 对最大延迟 $z$ 施加约束，以限制梯度发散。
• 使用拉格朗日乘子 $\mu_n, \mu_n'$ 对所有设备对的延迟约束进行建模，通过 $n_k$ 与 $N_k$ 索引映射追踪活跃约束。

实验结果

研究问题

• RQ1 在存在设备异构性的前提下，如何在异步移动边缘学习中自适应地调整任务分配以最小化梯度延迟？
• RQ2 在时间和资源约束下，如何实现对每个设备的数据批与本地更新次数的最优联合分配以最大化模型准确率？
• RQ3 所提出的自适应方案在延迟与收敛性方面相较于同步方案与均等分配异步基线方案表现如何？
• RQ4 基于KKT条件与拉格朗日松弛推导出的理论边界，能否为非凸优化问题提供近似最优解？
• RQ5 不同设备能力对异步学习性能有何影响？该影响如何建模并实现优化？

主要发现

• 所提出的自适应任务分配方案在减少梯度延迟方面优于同步方案与均等任务分配的异步方案。
• 该方法在异构环境中（设备能力差异显著）的验证准确率高于同步基线方案，表现更优。
• 建议-改进（SAI）优化过程显著提升了松弛解的质量，使其逼近最优性能。
• 基于KKT条件与拉格朗日分析推导出的解析解为 $\tau_k^*$ 与 $d_k^*$ 提供了坚实的理论基础与实用近似。
• 整数约束的放松使得可通过标准求解器高效求解，同时保持高准确率与低延迟。
• 实验结果表明，计算与通信能力更强的设备被分配更多更新与数据，从而减少空闲时间，提升整体系统收敛效率。