[论文解读] Federated Multi-Armed Bandits

Chengshuai Shi, Cong Shen|arXiv (Cornell University)|Jan 28, 2021

Advanced Bandit Algorithms Research参考文献 43被引用 6

一句话总结

本文提出了联邦多臂老虎机（FMAB），这是一种新颖的框架，将联邦学习原则扩展至随机多臂老虎机问题，实现了从非独立同分布（non-IID）客户端数据中进行隐私保护、通信高效的全局模型学习。该框架提出了Fed2-UCB算法，一种双UCB算法，通过平衡臂选择与客户端采样不确定性，实现了O(log T)的遗憾（regret），并显式控制通信成本；同时提出了Fed1-UCB算法用于精确模型，通过合理的更新周期，实现了与客户端数量无关的次优遗憾（order-optimal regret）。

ABSTRACT

Federated multi-armed bandits (FMAB) is a new bandit paradigm that parallels the federated learning (FL) framework in supervised learning. It is inspired by practical applications in cognitive radio and recommender systems, and enjoys features that are analogous to FL. This paper proposes a general framework of FMAB and then studies two specific federated bandit models. We first study the approximate model where the heterogeneous local models are random realizations of the global model from an unknown distribution. This model introduces a new uncertainty of client sampling, as the global model may not be reliably learned even if the finite local models are perfectly known. Furthermore, this uncertainty cannot be quantified a priori without knowledge of the suboptimality gap. We solve the approximate model by proposing Federated Double UCB (Fed2-UCB), which constructs a novel "double UCB" principle accounting for uncertainties from both arm and client sampling. We show that gradually admitting new clients is critical in achieving an O(log(T)) regret while explicitly considering the communication cost. The exact model, where the global bandit model is the exact average of heterogeneous local models, is then studied as a special case. We show that, somewhat surprisingly, the order-optimal regret can be achieved independent of the number of clients with a careful choice of the update periodicity. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness and efficiency of the proposed algorithms.

研究动机与目标

• 开发一个通用的联邦多臂老虎机（FMAB）框架，将联邦学习原则扩展至隐私敏感、分布式的老虎机问题场景。
• 解决FMAB中因本地模型为全局模型的随机实现且次优性差距未知而引发的客户端采样不确定性这一新挑战。
• 设计通信高效的算法，在有限通信条件下，平衡臂与客户端的探索，同时最小化遗憾。
• 分析FMAB模型的理论遗憾边界，特别证明在精确模型情况下，可实现与客户端数量无关的次优遗憾。
• 通过在合成数据集与真实世界数据集上的实验，验证所提算法的有效性与效率。

提出的方法

• 提出一个通用的FMAB框架，从分布式客户端的异构、非独立同分布本地模型中学习全局老虎机模型，保护数据隐私并最小化通信开销。
• 提出基于新颖‘双UCB’原则的Fed2-UCB算法，同时考虑臂采样与客户端采样不确定性，且无需预先知晓次优性差距。
• 采用渐进式客户端准入策略，平衡探索与通信成本，确保在显式考虑通信开销的前提下实现O(log T)的遗憾。
• 推导理论遗憾边界，表明Fed2-UCB相比标准MAB仅增加一个通信损失项，即可实现近似最优性能。
• 将Fed2-UCB特化为Fed1-UCB以适用于精确模型情形，即全局模型为本地模型的精确平均值，通过最优更新周期实现与客户端数量无关的次优遗憾。
• 采用动态客户端采样策略，根据置信区间动态引入新客户端，确保对非独立同分布数据及未知全局模型结构的鲁棒性。

实验结果

研究问题

• RQ1 如何从大量非独立同分布的本地客户端中高效且私密地学习全局多臂老虎机模型？
• RQ2 在联邦老虎机设置中，客户端采样不确定性对遗憾的影响是什么，特别是在次优性差距未知的情况下？
• RQ3 是否可以在联邦老虎机框架中显式平衡通信成本与探索，以实现O(log T)的遗憾？
• RQ4 在精确FMAB模型中，是否可能实现与客户端数量无关的次优遗憾？
• RQ5 在隐私与通信约束下，所提算法在真实世界与合成数据集上的实际表现如何？

主要发现

• Fed2-UCB在显式控制通信成本的前提下实现了O(log T)的遗憾，其性能接近标准随机MAB的下界，同时考虑了臂与客户端采样不确定性。
• 所提出的Fed2-UCB算法通过双UCB原则成功应对了次优性差距未知的挑战，实现了对臂与客户端探索的平衡。
• 渐进式客户端准入在近似FMAB模型中对维持O(log T)遗憾并最小化通信开销至关重要。
• 在精确FMAB模型中，当更新周期选择得当时，Fed1-UCB可实现与客户端数量无关的次优遗憾。
• 在合成数据集与真实世界数据集上的实验验证了理论分析，表明Fed2-UCB与Fed1-UCB在收敛速度与通信效率方面均优于基线方法。
• 结果表明，通信成本与客户端采样策略显著影响性能，合理的周期性设置可实现即使在百万级客户端下的可扩展且高效的训练。