[论文解读] Differentially Private Federated Bayesian Optimization with Distributed Exploration

Zhongxiang Dai, Bryan Kian Hsiang Low+1 more|arXiv (Cornell University)|Oct 27, 2021

Privacy-Preserving Technologies in Data参考文献 69被引用 15

一句话总结

本文提出 DP-FTS-DE，一种结合差分隐私与分布式探索的联邦贝叶斯优化框架，通过在保证用户级隐私的同时提升实用性，实现隐私与效用的优良权衡。通过将搜索空间划分为子区域，并使各代理在局部区域中以自适应加权方式探索，该方法提升了探索效率，并借助通用差分隐私（DP）框架维持了强隐私保障，在真实世界实验中实现了有利的隐私-效用权衡。

ABSTRACT

Bayesian optimization (BO) has recently been extended to the federated learning (FL) setting by the federated Thompson sampling (FTS) algorithm, which has promising applications such as federated hyperparameter tuning. However, FTS is not equipped with a rigorous privacy guarantee which is an important consideration in FL. Recent works have incorporated differential privacy (DP) into the training of deep neural networks through a general framework for adding DP to iterative algorithms. Following this general DP framework, our work here integrates DP into FTS to preserve user-level privacy. We also leverage the ability of this general DP framework to handle different parameter vectors, as well as the technique of local modeling for BO, to further improve the utility of our algorithm through distributed exploration (DE). The resulting differentially private FTS with DE (DP-FTS-DE) algorithm is endowed with theoretical guarantees for both the privacy and utility and is amenable to interesting theoretical insights about the privacy-utility trade-off. We also use real-world experiments to show that DP-FTS-DE achieves high utility (competitive performance) with a strong privacy guarantee (small privacy loss) and induces a trade-off between privacy and utility.

研究动机与目标

• 为解决当前联邦汤普森采样（FTS）在联邦贝叶斯优化中的方法缺乏严格的隐私保障问题。
• 将差分隐私（DP）集成到 FTS 中，同时保持其实际效用与协作优势。
• 通过在局部子区域中实现分布式探索，提升联邦贝叶斯优化中的探索效率。
• 开发一种方法，在利用通用 DP 框架保持理论隐私保障的同时，通过自适应加权代理贡献来提升性能。
• 通过实证验证所提方法在多样化真实应用场景下的隐私-效用权衡与鲁棒性。

提出的方法

• 本文修改 FTS 以兼容通用 DP 框架，即在每次迭代中应用子采样高斯机制，以确保差分隐私。
• 通过将全局搜索空间划分为 P 个局部子区域，引入分布式探索（DE），初始时将每个代理分配至一个子区域进行探索。
• 中央服务器对每个子区域分别聚合信息，采用自适应权重优先考虑被分配至该子区域的代理，权重随时间逐渐趋于均匀。
• 该方法利用通用 DP 框架处理不同参数向量的能力，将每个子区域的聚合向量视为独立的参数向量，从而保持隐私保障。
• 在每个子区域中使用局部高斯过程（GP）代理模型，以提升在较小、局部化领域中的建模精度与探索效率。
• 通过 L-BFGS-B 优化获取函数，结合随机重启与域内均匀采样，计算开销极低。

实验结果

研究问题

• RQ1 差分隐私能否在保持强理论隐私保障的前提下，有效集成到联邦汤普森采样（FTS）中？
• RQ2 分布式探索（DE）如何提升差分隐私联邦贝叶斯优化的实用性？
• RQ3 在差分隐私环境下，自适应与非自适应加权方案对 DP-FTS-DE 性能的影响如何？
• RQ4 子区域数量（P）如何影响 DP-FTS-DE 中的隐私-效用权衡？
• RQ5 所提方法能否在真实世界的联邦超参数调优与优化任务中实现具有强隐私保障的竞争力性能？

主要发现

• DP-FTS-DE 在真实世界实验中实现了具有强隐私保障的竞争力性能，展现出有利的隐私-效用权衡。
• 采用分布式探索显著提升了实用性，尤其在优化初期实现了更有效的局部探索。
• 自适应加权方案优于非自适应方案，尤其在优化进程推进后，因能更有效地利用探索过多个子区域的代理信息。
• 该方法对子区域数量（P=2,3,4,6）与权重配置的变化具有鲁棒性，表明其稳定性和实用性。
• Rényi DP 变体在保持相当实用性的同时，隐私损失略优于标准 DP，表明其在隐私会计方面具有更紧密的潜力。
• DP 与 DE 所引入的计算开销可忽略不计，服务器额外开销为 O(PNq)，对代理的影响极小。