[论文解读] Context-Aware Online Client Selection for Hierarchical Federated Learning

Zhe Qu, Rui Duan+4 more|arXiv (Cornell University)|Dec 1, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出上下文感知的在线客户端选择（COCS），一种基于学习的分层联邦学习（HFL）客户端选择策略，利用上下文组合多臂老虎机（CC-MAB）根据实时上下文（如客户端计算能力与无线信道条件）动态选择客户端。COCS 实现了次线性遗憾，并在非凸设置下显著提升了训练性能，在 CIFAR-10 上达到 67.93% 的测试准确率，与最优策略（Oracle policy）相差仅 0.48%。

ABSTRACT

Federated Learning (FL) has been considered as an appealing framework to tackle data privacy issues of mobile devices compared to conventional Machine Learning (ML). Using Edge Servers (ESs) as intermediaries to perform model aggregation in proximity can reduce the transmission overhead, and it enables great potentials in low-latency FL, where the hierarchical architecture of FL (HFL) has been attracted more attention. Designing a proper client selection policy can significantly improve training performance, and it has been extensively used in FL studies. However, to the best of our knowledge, there are no studies focusing on HFL. In addition, client selection for HFL faces more challenges than conventional FL, e.g., the time-varying connection of client-ES pairs and the limited budget of the Network Operator (NO). In this paper, we investigate a client selection problem for HFL, where the NO learns the number of successful participating clients to improve the training performance (i.e., select as many clients in each round) as well as under the limited budget on each ES. An online policy, called Context-aware Online Client Selection (COCS), is developed based on Contextual Combinatorial Multi-Armed Bandit (CC-MAB). COCS observes the side-information (context) of local computing and transmission of client-ES pairs and makes client selection decisions to maximize NO's utility given a limited budget. Theoretically, COCS achieves a sublinear regret compared to an Oracle policy on both strongly convex and non-convex HFL. Simulation results also support the efficiency of the proposed COCS policy on real-world datasets.

研究动机与目标

• 解决分层联邦学习（HFL）中缺乏针对其特有挑战（如客户端-边缘服务器（ES）连接状态随时间变化、网络运营商（NO）预算有限）的客户端选择策略的问题。
• 通过在每轮中最大化成功参与的客户端数量并遵守每个 ES 的预算约束，提升 HFL 中的训练性能。
• 设计一种在线、自适应的客户端选择策略，能够从实时上下文（如传输质量、计算资源可用性）中学习，而无需预先知晓客户端性能。
• 通过引入基于学习的方法，克服静态优化策略的局限性，使其能够适应动态且不确定的 HFL 网络环境。

提出的方法

• 基于上下文组合多臂老虎机（CC-MAB）框架开发 COCS，将客户端选择建模为不确定环境下的序列决策问题。
• 利用客户端计算资源、到边缘服务器（ES）的距离以及无线信道带宽等辅助信息（上下文），估计客户端成功参与的概率。
• 将网络运营商（NO）的效用定义为成功参与客户端数量的函数，并施加每个 ES 的总租赁预算约束。
• 实施基于老虎机的在线学习机制，平衡探索（测试表现较差的客户端-ES 对）与利用（选择高成功概率的对），以最大化累积效用。
• 对上下文空间应用划分策略，将相似的客户端-ES 对分组为超立方体，以实现参与概率的高效估计。
• 理论分析证明，COCS 在强凸和非凸 HFL 设置下均能实现相对于最优策略的次线性遗憾。

实验结果

研究问题

• RQ1 在客户端-ES 连接状态随时间变化且网络运营商预算有限的条件下，如何优化 HFL 中的客户端选择？
• RQ2 当网络条件不确定且动态变化时，基于学习的方法是否能优于静态或基于优化的客户端选择策略？
• RQ3 在 HFL 中，引入上下文信息（如计算能力、信道质量）在多大程度上能提升客户端选择性能？
• RQ4 在线客户端选择策略在 HFL 中的理论性能保证是什么？其是否能随时间收敛至近似最优决策？

主要发现

• COCS 在强凸和非凸 HFL 设置下均实现了次线性遗憾，表明其相对于最优策略具有渐近最优性能。
• 在使用 CNN 模型的 CIFAR-10 数据集上，COCS 达到 67.93% 的测试准确率，优于 LinUCB（65.19%）、CUCB（63.76%）和随机策略（62.25%）。
• 在非凸设置下，COCS 比最优策略减少 10% 的训练轮数，分别在 101 轮和 92 轮内收敛。
• 在 8 秒截止时间内，COCS 的累积效用达到 5,378，表明在达到一定截止时间或预算增加后，收益递减。
• 将预算从 3.5 单位提高到 5 单位可提升累积效用，但进一步增加预算带来的增益微乎其微，原因在于低吞吐量客户端-ES 对的固有瓶颈。
• 在非凸设置下，COCS 与最优策略之间的性能差距（0.48% 准确率差异）小于凸设置下的差距，这是由于非凸设置中使用了近似最优策略所致。