[论文解读] Federated Bayesian Optimization via Thompson Sampling

Zhongxiang Dai, Kian Hsiang Low+1 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Bandit Algorithms Research参考文献 64被引用 41

一句话总结

本文提出了联邦汤普森采样（FTS），一种使用随机傅里叶特征和汤普森采样的联邦贝叶斯优化方法，能够在异构代理之间实现高效、鲁棒的黑箱优化。它提供了理论上的无-regret 保证，并在经验上展示了通信和计算效率。

ABSTRACT

Bayesian optimization (BO) is a prominent approach to optimizing expensive-to-evaluate black-box functions. The massive computational capability of edge devices such as mobile phones, coupled with privacy concerns, has led to a surging interest in federated learning (FL) which focuses on collaborative training of deep neural networks (DNNs) via first-order optimization techniques. However, some common machine learning tasks such as hyperparameter tuning of DNNs lack access to gradients and thus require zeroth-order/black-box optimization. This hints at the possibility of extending BO to the FL setting (FBO) for agents to collaborate in these black-box optimization tasks. This paper presents federated Thompson sampling (FTS) which overcomes a number of key challenges of FBO and FL in a principled way: We (a) use random Fourier features to approximate the Gaussian process surrogate model used in BO, which naturally produces the parameters to be exchanged between agents, (b) design FTS based on Thompson sampling, which significantly reduces the number of parameters to be exchanged, and (c) provide a theoretical convergence guarantee that is robust against heterogeneous agents, which is a major challenge in FL and FBO. We empirically demonstrate the effectiveness of FTS in terms of communication efficiency, computational efficiency, and practical performance.

研究动机与目标

• 在超参数调优和其他无法获得梯度的黑箱任务中，推动联邦零阶优化（FBO）。
• 开发一个有原理的FBO算法，通过交换紧凑的代理信息而非原始数据来保护数据隐私。
• 提供对代理异质性鲁棒的理论收敛保证。
• 通过现实世界的实验展示在通信和计算方面的实际收益。

提出的方法

• 在贝叶斯优化中使用随机傅里叶特征（RFF）近似高斯过程代理，从而得到可交换的线性模型参数。
• 引入联邦汤普森采样（FTS），在每次迭代中对目标代理的高斯过程或其他代理的高斯过程进行采样，然后通过最大化相应样本来选择下一个查询。
• 在所有代理之间共享一个公共随机特征映射，以实现紧凑的参数交换。
• 加入单调的探索-开发计划 p_t，指示何时使用共享信息与本地样本，并提供无-regret保证。

实验结果

研究问题

• RQ1 是否可以将联邦BO表述为通过交换紧凑的GP代理信息来保护数据隐私，而非原始的BO数据？
• RQ2 在代理异质性下，FTS是否提供理论上的无-regret保证，同时保持通信与计算效率？
• RQ3 在实践中，与元学习BO方法（RGPE、TAF）相比，FTS在性能和通信成本方面的表现如何？
• RQ4 随机特征维度M和代理相似性(d_n)对性能与无 regret 的影响是多少？

主要发现

• FTS在减少通信和计算开销的同时，达到或优于标准TS、RGPE和TAF的性能。
• 理论结果展示了适用于异构代理（d_n和t_n）的FTS无-regret界。
• 在地雷探测与活动识别等实验中，FTS在更小的消息规模下在性能和速度上均优于基线。
• FTS通过在采样分布中排除无响应的代理来自然处理拖后腿的代理，而不影响收敛性。