[论文解读] Accurate and Fast Federated Learning via Combinatorial Multi-Armed Bandits

Taehyeon Kim, Sangmin Bae+2 more|arXiv (Cornell University)|Dec 6, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 5

一句话总结

本文提出 FedCM，一种新型联邦学习框架，通过结合组合模型平均以过滤偏差模型，以及基于多臂赌博机（MAB）的客户端采样以利用先验知识，从而提升准确率与收敛速度。在非独立同分布（non-IID）数据集上，FedCM 的测试准确率最高提升 37.25%，收敛速度最快达基线方法的 4.17 倍。

ABSTRACT

Federated learning has emerged as an innovative paradigm of collaborative machine learning. Unlike conventional machine learning, a global model is collaboratively learned while data remains distributed over a tremendous number of client devices, thus not compromising user privacy. However, several challenges still remain despite its glowing popularity; above all, the global aggregation in federated learning involves the challenge of biased model averaging and lack of prior knowledge in client sampling, which, in turn, leads to high generalization error and slow convergence rate, respectively. In this work, we propose a novel algorithm called FedCM that addresses the two challenges by utilizing prior knowledge with multi-armed bandit based client sampling and filtering biased models with combinatorial model averaging. Based on extensive evaluations using various algorithms and representative heterogeneous datasets, we showed that FedCM significantly outperformed the state-of-the-art algorithms by up to 37.25% and 4.17 times, respectively, in terms of generalization accuracy and convergence rate.

研究动机与目标

• 解决非 IID 联邦学习设置中因模型平均偏差导致泛化误差增大的挑战。
• 克服客户端采样中缺乏先验知识的问题，该问题会减缓收敛速度并导致陷入次优局部最优。
• 设计一个统一的系统级框架，集成具备知识的客户端采样与过滤后的模型平均，以提升联邦学习性能。
• 利用组合优化与多臂赌博机技术，实现可扩展且自适应的客户端选择与模型聚合。

提出的方法

• 提出 FedCA，一种组合模型平均方法，基于验证分数选择最优客户端模型子集，以最小化泛化误差。
• 引入基于 MAB 的客户端采样方法，采用置信上界（UCB）与汤普森采样（Thompson Sampling），根据历史表现动态选择客户端。
• 将客户端选择建模为组合多臂赌博机问题，其中奖励来源于客户端是否曾属于先前轮次的最优子集。
• 使用贝塔分布建模客户端选择概率，并基于前序轮次的观测奖励更新信念。
• 将 MAB 采样与 FedCA 过滤机制整合为统一算法 FedCM，实现客户端选择与模型聚合的端到端优化。
• 定义一个系统级框架，支持自定义先验知识与模型过滤标准的扩展。

实验结果

研究问题

• RQ1 通过过滤偏差模型，组合模型平均是否能显著降低非 IID 联邦学习中的泛化误差？
• RQ2 基于 MAB 的客户端采样是否能通过利用客户端性能的先验知识来提升收敛速度？
• RQ3 将组合平均与基于 MAB 的采样相结合，是否能相对于现有联邦学习方法产生协同增益？
• RQ4 FedCM 的性能提升在不同数据异质性水平与评分函数配置下如何变化？

主要发现

• 在具有类别异质性的非 IID 数据集上，FedCM 相较于最先进方法，测试准确率最高提升 37.25%。
• 在所有评估设置中，FedCM 的收敛速度比 FedAvg 与 FedProx 快达 4.17 倍。
• 仅组合平均组件（FedCA）相比基线方法，泛化准确率最高提升 16.75%。
• 在所有测试的数据异质性与评分函数配置下，FedCM-UCB 与 FedCM-TS 在准确率与收敛速度上均优于 FedAvg、FedProx 与 FedPdp。
• 性能增益在整个训练过程中保持稳定，包括早期阶段，表明所提方法具有鲁棒性与稳定性。
• 通过 MAB 引入先验知识，结合组合优化进行模型过滤，其协同效应强于单一技术的单独应用。