[论文解读] Federated Multi-armed Bandits with Personalization

Chengshuai Shi, Cong Shen+1 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Bandit Algorithms Research参考文献 30被引用 15

一句话总结

本文提出了一种新颖的个性化联邦多臂老虎机（PF-MAB）框架，在隐私保护、去中心化的设置下联合优化全局与局部学习目标。该框架引入了个性化联邦上置信度上限（PF-UCB）算法，动态平衡全局与局部模型的探索，无论个性化程度如何，均实现 O(log T) 的遗憾，且在实例相关性能下达到理论下界。

ABSTRACT

A general framework of personalized federated multi-armed bandits (PF-MAB) is proposed, which is a new bandit paradigm analogous to the federated learning (FL) framework in supervised learning and enjoys the features of FL with personalization. Under the PF-MAB framework, a mixed bandit learning problem that flexibly balances generalization and personalization is studied. A lower bound analysis for the mixed model is presented. We then propose the Personalized Federated Upper Confidence Bound (PF-UCB) algorithm, where the exploration length is chosen carefully to achieve the desired balance of learning the local model and supplying global information for the mixed learning objective. Theoretical analysis proves that PF-UCB achieves an $O(\log(T))$ regret regardless of the degree of personalization, and has a similar instance dependency as the lower bound. Experiments using both synthetic and real-world datasets corroborate the theoretical analysis and demonstrate the effectiveness of the proposed algorithm.

研究动机与目标

• 为解决在隐私约束下平衡联邦多臂老虎机中的全局泛化与局部个性化挑战。
• 开发一个系统性框架，将联邦学习原则扩展至具有个性化模型目标的老虎机设置。
• 设计一种算法，在保持低通信成本的同时，确保在多样化客户端数据分布下具备强大的遗憾性能。
• 理论分析全局与局部探索之间的根本权衡，推导混合学习目标的下界。

提出的方法

• 提出一种混合学习目标，根据应用特定需求，平滑平衡全局与局部模型性能。
• 设计基于阶段的探索机制的 PF-UCB 算法，通过参数 α 动态调整全局与局部模型的探索长度。
• 采用双阶段通信机制：在每个阶段开始时，客户端交换臂的统计信息与活跃集合，以维持协调。
• 使用置信区间与指数尾部界控制探索，并确保高概率遗憾保证。
• 引入基于探索-利用权衡的同步机制，以应对客户端异构性与非均匀收敛问题。
• 通过事件驱动分析推导理论遗憾界，以高概率事件 G 为条件，确保稳定性与收敛性。

实验结果

研究问题

• RQ1 在个性化联邦老虎机中，全局与局部探索之间的根本权衡是什么？如何对其进行量化？
• RQ2 联邦老虎机算法能否在平衡个性化与泛化的同时，实现 O(log T) 的遗憾？
• RQ3 在反馈有限、隐私约束下，如何在动态、去中心化的老虎机设置中保持通信效率？
• RQ4 在联邦老虎机中，针对所提出的混合全局-局部学习目标，其实例相关遗憾下界是什么？
• RQ5 客户端异构性如何影响联邦老虎机学习中的同步与收敛？又该如何缓解？

主要发现

• PF-UCB 算法在无论个性化程度高低的情况下，均实现 O(log T) 的遗憾，表明其在不同个性化水平下均具备鲁棒性。
• PF-UCB 的遗憾与推导出的下界在实例相关缩放下完全匹配，表明其在问题特定难度方面具有理论最优性。
• 通信成本显著降低，在 α=0.5 条件下，10^6 步内仅需 72 次通信，表明其在实际中具有极高效率。
• 即使在极端客户端异构性（如 M=40 个客户端与 K=4 个动作）下，该算法仍保持稳定性能，证实其可扩展性。
• 选择 f(p) = 2^p log(T) 时，通信缩放最为高效，优于 f(p) = 10 log(T) 与 f(p) = log(T)，尤其在长时 Horizon 下表现更优。
• 在合成数据与真实世界 MovieLens 数据上的实验结果表明，PF-UCB 能有效平衡全局与局部性能，同时最小化通信开销。