[论文解读] Differentially-Private Federated Linear Bandits

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|Oct 22, 2020

Advanced Bandit Algorithms Research参考文献 51被引用 32

一句话总结

引入 FedUCB，一种差分隐私的联邦上下文线性带宽问题算法，适用于集中式和去中心化设置，并提供关于遗憾和隐私保证及通信复杂度分析。

ABSTRACT

The rapid proliferation of decentralized learning systems mandates the need for differentially-private cooperative learning. In this paper, we study this in context of the contextual linear bandit: we consider a collection of agents cooperating to solve a common contextual bandit, while ensuring that their communication remains private. For this problem, we devise extsc{FedUCB}, a multiagent private algorithm for both centralized and decentralized (peer-to-peer) federated learning. We provide a rigorous technical analysis of its utility in terms of regret, improving several results in cooperative bandit learning, and provide rigorous privacy guarantees as well. Our algorithms provide competitive performance both in terms of pseudoregret bounds and empirical benchmark performance in various multi-agent settings.

研究动机与目标

• 在去中心化（联邦）上下文带宽问题中，推动实际可行的私有协作学习。
• 对多智能体上下文带宽的联邦差分隐私进行形式化定义。
• 提出在集中式和去中心化环境中具有隐私保证的 FedUCB 变体。
• 在隐私约束下分析遗憾界和通信复杂性。
• 就隐私预算如何影响多智能体网络中性能提供指南。

提出的方法

• 通过构建时变的椭圆形置信集和上置信界，将 LinUCB 扩展到联邦设置。
• 用隐私保护噪声扰动 Gram 矩阵和奖励向量，以满足差分隐私。
• 开发集中式 FedUCB，配备一个控制器，用于同步隐私化的全局统计并控制异质性。
• 将 FedUCB 适配到带有延迟本地同步和 gamma-delay 协议的去中心化点对点网络。
• 引入一个 Privatizer 子程序，基于树状差分隐私机制实现累积统计的私密发布。
• 推导将隐私参数（ε、δ）与探索、通信和网络拓扑相关联的遗憾界。

实验结果

研究问题

• RQ1 如何设计在集中式和去中心化设置下均可工作的差分私有联邦算法，用于上下文线性带宽？
• RQ2 在对多智能体带宽学习施加隐私约束时，遗憾保证（群体伪遗憾）是什么？
• RQ3 通信与隐私预算和遗憾在联邦上下文带宽中的关系如何？
• RQ4 网络拓扑和同步对隐私保护的联邦带宽性能有何影响？
• RQ5 在隐私约束下，提出的 FedUCB 框架是否可以达到接近非私有多智能体上下文带宽的最优速率？

主要发现

• 集中式 FedUCB 在 T 和 M 的依赖性方面达到与非私有界一致的高概率群伪遗憾界，至多包含 polylog 因子。
• 去中心化的 FedUCB 引入一个考虑延迟的、与拓扑相关的界，其中包括通信图的直径因子。
• 该框架通过基于树形差分隐私机制的 Privatizer 子程序，为联邦上下文与奖励提供明确的隐私保障。
• 在通信轮次与遗憾之间建立权衡：较少的同步将导致遗憾增加，而更频繁的同步可以提高效用。
• 分析将隐私预算与扰动的谱特性联系起来，展示 ε、δ 如何通过扰动设计中的 ρ_min、ρ_max 和 κ 影响遗憾。
• 通信复杂度界将同步次数与维度、时域上界与隐私参数相关联，为实际部署提供指南。