[论文解读] FLAME: Differentially Private Federated Learning in the Shuffle Model

Ruixuan Liu, Yang Cao+3 more|arXiv (Cornell University)|Sep 17, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FLAME 提出了一种新颖的联邦学习框架，应用于差分隐私的shuffle模型，在无需可信分析器的情况下，通过利用shuffle和子采样带来的隐私放大效应，实现了高实用性。它引入了SS-Topk协议，一种基于梯度稀疏化的方案，在测试准确率上相比本地模型联邦学习（FL）提升了60.7%，相比 curator 模型 FL 提升了33.94%，同时在每个 epoch 下仅损失1.48%的准确率（相较于非私有 FL），在(2.348, 5e−6)-DP 条件下保持了良好的隐私保障。

ABSTRACT

Federated Learning (FL) is a promising machine learning paradigm that enables the analyzer to train a model without collecting users' raw data. To ensure users' privacy, differentially private federated learning has been intensively studied. The existing works are mainly based on the extit{curator model} or extit{local model} of differential privacy. However, both of them have pros and cons. The curator model allows greater accuracy but requires a trusted analyzer. In the local model where users randomize local data before sending them to the analyzer, a trusted analyzer is not required but the accuracy is limited. In this work, by leveraging the extit{privacy amplification} effect in the recently proposed shuffle model of differential privacy, we achieve the best of two worlds, i.e., accuracy in the curator model and strong privacy without relying on any trusted party. We first propose an FL framework in the shuffle model and a simple protocol (SS-Simple) extended from existing work. We find that SS-Simple only provides an insufficient privacy amplification effect in FL since the dimension of the model parameter is quite large. To solve this challenge, we propose an enhanced protocol (SS-Double) to increase the privacy amplification effect by subsampling. Furthermore, for boosting the utility when the model size is greater than the user population, we propose an advanced protocol (SS-Topk) with gradient sparsification techniques. We also provide theoretical analysis and numerical evaluations of the privacy amplification of the proposed protocols. Experiments on real-world dataset validate that SS-Topk improves the testing accuracy by 60.7\% than the local model based FL.

研究动机与目标

• 通过利用 shuffle 模型的隐私放大效应，解决联邦学习中实用性与隐私之间的权衡问题。
• 在不依赖可信分析器的前提下，实现与 curator 模型相当的准确率。
• 克服因模型参数维度较高而导致的隐私放大效应衰减问题，特别是在高维联邦学习场景中。
• 通过引入受控索引隐私的数据相关梯度稀疏化方法，提升高维场景下的实用性。
• 在 shuffle 模型下，形式化并量化 top-k 选择协议中的索引隐私风险。

提出的方法

• 提出 FLAME，一种在 shuffle 模型下的联邦学习框架，将用户、shuffle 者和分析器之间的信任边界分离。
• 引入 SS-Simple 协议，将一维 shuffle 基础协议扩展至联邦学习场景，但发现由于高维模型更新导致隐私放大效果有限。
• 设计 SS-Double 协议，通过随机子采样增强隐私放大效果，并提出一种新型的虚拟填充技术，以形式化组合 shuffle 和子采样带来的放大效应。
• 开发 SS-Topk 协议，利用梯度稀疏化选择 top-k 维度，在高维场景中提升实用性，同时量化并控制索引隐私泄露。
• 提供关于通过 shuffle 和子采样实现隐私放大的形式化证明，并引入一种灵活的索引隐私与实用性之间的权衡机制。
• 通过理论分析与数值评估，验证所提协议在隐私放大和实用性提升方面的有效性。

实验结果

研究问题

• RQ1 差分隐私的 shuffle 模型能否有效应用于具有大模型参数的高维联邦学习？
• RQ2 当模型更新的维度较高且用户数量适中时，如何在联邦学习中最大化隐私放大效果？
• RQ3 能否形式化地组合子采样与 shuffle，以在 shuffle 模型中实现更强的隐私放大？
• RQ4 如何在不损害隐私的前提下，将梯度稀疏化集成到 shuffle 模型中，特别是在索引选择依赖数据的情况下？
• RQ5 在 shuffle 模型下，top-k 选择协议中实用性与索引隐私之间的权衡关系是什么？如何实现定量管理？

主要发现

• SS-Topk 相较于基于本地模型的 FL，测试准确率提升了60.7%，在强隐私保护下展现出显著的实用性提升。
• SS-Topk 在无需可信分析器的前提下，相比基于 curator 模型的 FL 准确率高出33.94%，弥合了实用性与信任之间的鸿沟。
• SS-Double 中通过 shuffle 和子采样实现的双重隐私放大效果，相比 SS-Simple 实现了数十倍的隐私放大增益。
• 在每个 epoch 下为(2.348, 5e−6)-DP 的条件下，SS-Topk 相较于非私有 FL 仅损失1.48%的准确率，显示出极低的实用性损耗。
• 形式化分析证明，虚拟填充技术可实现来自 shuffle 和子采样两者的可组合隐私放大，确保严格的隐私保障。
• 本研究量化了 top-k 选择中的索引隐私泄露，并提出一种灵活的权衡机制，在保护分析器级别隐私的同时提升实用性。