[论文解读] Convergence Acceleration in Wireless Federated Learning: A Stackelberg Game Approach

Kaidi Wang, Yi Ma+4 more|arXiv (Cornell University)|Sep 14, 2022

Age of Information Optimization被引用 6

一句话总结

本文提出了一种基于Stackelberg博弈的框架，通过联合优化设备选择、子信道分配和资源分配，加速无线联邦学习中的收敛。通过将设备选择建模为领导者层级的全局损失最小化问题，将资源分配建模为跟随者层级的延迟最小化问题，该方法相比现有方法实现了更快的收敛速度以及更少的计算/通信时间。

ABSTRACT

This paper studies issues that arise with respect to the joint optimization for convergence time in federated learning over wireless networks (FLOWN). We consider the criterion and protocol for selection of participating devices in FLOWN under the energy constraint and derive its impact on device selection. In order to improve the training efficiency, age-of-information (AoI) enables FLOWN to assess the freshness of gradient updates among participants. Aiming to speed up convergence, we jointly investigate global loss minimization and latency minimization in a Stackelberg game based framework. Specifically, we formulate global loss minimization as a leader-level problem for reducing the number of required rounds, and latency minimization as a follower-level problem to reduce time consumption of each round. By decoupling the follower-level problem into two sub-problems, including resource allocation and sub-channel assignment, we achieve an optimal strategy of the follower through monotonic optimization and matching theory. At the leader-level, we derive an upper bound of convergence rate and subsequently reformulate the global loss minimization problem and propose a new age-of-update (AoU) based device selection algorithm. Simulation results indicate the superior performance of the proposed AoU based device selection scheme in terms of the convergence rate, as well as efficient utilization of available sub-channels.

研究动机与目标

• 为解决在有限时间和能量约束下，无线联邦学习（FL）中全局损失最小化与延迟之间的权衡问题。
• 联合优化设备选择、子信道分配、计算资源分配和功率分配，以加速FL收敛。
• 使用Stackelberg博弈建模分层决策过程，其中设备选择为领导者，资源分配为跟随者。
• 推导收敛速率的上界，以重新表述领导者层级问题，实现高效求解。
• 提出一种基于列表的设备选择算法，实现Stackelberg均衡，并提升收敛性能。

提出的方法

• 构建一个Stackelberg博弈，将设备选择作为领导者层级问题以最小化全局损失，将资源分配（子信道、计算、功率）作为跟随者层级问题以最小化延迟。
• 将跟随者层级问题分解为两个子问题：采用单调优化方法进行资源分配，采用匹配方法进行子信道分配。
• 推导收敛速率的上界，以将领导者层级问题重新表述为可处理的形式，用于设备选择。
• 提出一种基于列表的设备选择算法，通过迭代评估设备对全局损失的贡献，实现Stackelberg均衡。
• 使用信息年龄（AoI）作为指导设备选择的度量，优先选择能减少模型陈旧性并提升收敛性的设备。
• 采用理论分析来界定期望梯度范数，并在随机设备选择条件下推导收敛保证。

实验结果

研究问题

• RQ1 在时间和能量受限条件下，如何优化设备选择以最小化无线联邦学习中的全局损失？
• RQ2 全局损失与延迟之间的最优权衡是什么？如何将其建模为分层决策问题？
• RQ3 如何联合优化子信道分配与资源分配，以最小化每轮联邦学习中的通信与计算延迟？
• RQ4 Stackelberg博弈框架能否有效协调设备选择与资源分配，以加速收敛？
• RQ5 与随机或启发式选择方案相比，基于AoI的设备选择可实现多大的性能提升？

主要发现

• 所提出的设备选择方案在全局损失减少方面显著优于随机和启发式选择方法。
• 所开发的单调优化与基于匹配的算法能有效最小化延迟，通过高效分配子信道和计算资源。
• 仿真结果表明，所提出的框架相比基线方案，显著降低了计算与通信的总时间消耗。
• 基于列表的设备选择算法实现了Stackelberg均衡，确保每轮中设备参与的稳定与最优。
• 收敛速率的理论上限使领导者层级问题得以有效重述，提升了求解效率。
• 将AoI整合到设备选择中，通过优先选择及时且具影响力的更新，增强了模型的新鲜度，加速了收敛。