[论文解读] Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits

Chuanhao Li, Hongning Wang|arXiv (Cornell University)|Oct 4, 2021

Advanced Bandit Algorithms Research参考文献 2被引用 4

一句话总结

该论文为联邦线性Bandit提出了异步Upper Confidence Bound（UCB）算法，实现了在异构客户端之间无需全局同步的高效、通信优化学习。通过仅在模型变化变得相关时触发更新，该方法在保持低遗憾的同时降低了通信成本，实证结果表明，通过主动用户选择性共享数据，性能得到提升。

ABSTRACT

Linear contextual bandit is a popular online learning problem. It has been mostly studied in centralized learning settings. With the surging demand of large-scale decentralized model learning, e.g., federated learning, how to retain regret minimization while reducing communication cost becomes an open challenge. In this paper, we study linear contextual bandit in a federated learning setting. We propose a general framework with asynchronous model update and communication for a collection of homogeneous clients and heterogeneous clients, respectively. Rigorous theoretical analysis is provided about the regret and communication cost under this distributed learning framework; and extensive empirical evaluations demonstrate the effectiveness of our solution.

研究动机与目标

• 为在去中心化、大规模学习环境中最小化遗憾并减少通信开销，解决联邦线性Bandit的挑战。
• 设计一种稳健的异步通信框架，避免全局同步，提升对客户端延迟和不可用性的鲁棒性。
• 在统一学习框架中支持同质与异质客户端——其中客户端可能具有不同的奖励函数和数据分布。
• 在不同客户端活跃度与数据异质性条件下，对所提算法的遗憾与通信成本进行理论分析与实证验证。

提出的方法

• 提出一种事件触发的异步通信机制，客户端仅在本地模型相对于全局模型变得足够过时时才向服务器更新。
• 引入基于阈值的条件（由参数γ参数化），以判断客户端的本地更新是否值得传输，依据是通信可能带来的遗憾减少量。
• 设计两种算法变体：一种用于共享相同奖励函数的同质客户端，另一种用于在多任务学习设置下共享全局参数的异质客户端。
• 采用线性上下文Bandit框架与UCB探索机制，每个客户端基于其本地对期望奖励的估计选择动作。
• 使用主成分分析（PCA）可视化用户嵌入，分析数据异质性对性能的影响，特别是聚合数据带来的偏差与方差之间的权衡。
• 理论分析推导出累积遗憾与通信成本的上界，证明该方法在独立同分布（IID）与非独立同分布（non-IID）数据假设下的高效性与收敛性。

实验结果

研究问题

• RQ1 如何在不依赖全局同步的前提下，降低联邦线性Bandit中的通信成本？
• RQ2 何种条件可确保客户端的本地模型更新对遗憾减少具有实质性贡献，从而证明通信的合理性？
• RQ3 数据异质性——尤其是来自较少活跃客户端的数据——如何影响异步联邦Bandit学习中全局模型的性能？
• RQ4 尽管通信减少，是否可以通过高度活跃用户的选择性数据共享来提升整体性能？
• RQ5 在异步联邦Bandit学习背景下，偏差（来自非独立同分布数据）与方差（来自数据有限）之间的权衡是什么？

主要发现

• 当通信阈值γ较高（例如∞）时，仅最活跃的用户参与全局更新，累积奖励为1.6891，通信次数仅为14,230次。
• 当γ降低且更多客户端参与通信时（例如γ = 3），在14,230次通信下累积奖励增至1.8348，表明选择性数据共享可带来性能提升。
• 然而，当通信量进一步增加时（例如γ = 3，C_T = 54,006），较少活跃群体的累积奖励显著下降（例如从22降至11），表明过度聚合数据会因高异质性而损害性能。
• 用户嵌入的可视化显示，高度活跃用户（80–100）在特征空间中处于中心位置，而较少活跃用户则沿正交方向散射，解释了为何其数据在聚合后会降低模型性能。
• 结果证实，活跃用户的数据可提升各群体的整体性能，但聚合来自异质性、较少活跃用户的高偏差数据会降低整体有效性。
• 异步框架在通信成本与遗憾性能方面优于同步方法，尤其在客户端可用性波动与数据稀疏的环境中表现更优。