[论文解读] Federated Learning with Differential Privacy
本文在 MNIST、FEMNIST 和一个真实世界医疗数据集上评估了带有差分隐私（DP）的联邦学习，表明尽管保持了隐私保障，但DP显著降低了模型准确率，尤其是在非独立同分布（non-i.i.d.）数据或小样本数据集上，这是由于噪声注入和梯度裁剪所致。
Federated learning (FL), as a type of distributed machine learning, is capable of significantly preserving client's private data from being shared among different parties. Nevertheless, private information can still be divulged by analyzing uploaded parameter weights from clients. In this report, we showcase our empirical benchmark of the effect of the number of clients and the addition of differential privacy (DP) mechanisms on the performance of the model on different types of data. Our results show that non-i.i.d and small datasets have the highest decrease in performance in a distributed and differentially private setting.
研究动机与目标
- 研究数据分布（i.i.d. 与非 i.i.d.）对带有差分隐私的联邦学习中模型性能的影响。
- 评估不同隐私预算（ε）对 DP-FL 设置下模型准确率和收敛性的影响。
- 评估将 DP-FL 应用于实践中常见的小规模、真实医疗数据集的可行性。
- 识别跨边陲联邦学习场景中隐私（DP）与模型效用之间的权衡。
提出的方法
- 采用 FedAvg 算法进行中心化联邦学习，通过客户端聚合模型。
- 通过使用 PyTorch 的 Opacus 库进行梯度扰动，应用差分隐私，采用自适应组合和梯度裁剪。
- 在每轮训练中使用固定的隐私预算，将 ε 分配到各训练轮次，以维持整体的 (ε, δ)-DP 保障。
- 在 MNIST、FEMNIST 和一个小规模医疗数据集上训练卷积神经网络（CNN），客户端数量和 ε 值各不相同。
- 通过在不同配置下测量各训练轮次的测试准确率和损失来评估模型性能。
- 基于作者身份对 FEMNIST 采用非 i.i.d. 划分策略，以模拟真实的数据异质性。
实验结果
研究问题
- RQ1非 i.i.d. 数据分布如何影响 DP-FL 中的模型收敛性和准确率？
- RQ2在带有 DP 的联邦学习中，隐私预算 ε 的变化如何影响模型性能？
- RQ3DP-FL 能否在小规模、真实医疗数据集上实现可接受的模型效用？
- RQ4在跨边陲联邦学习中，隐私（DP）与模型效用（准确率）之间的权衡是什么？
主要发现
- 在 MNIST 的 i.i.i.d. 数据上，DP 将模型准确率从超过 95% 降低至约 75%，即使 ε=100，仍造成约 20% 的性能下降。
- 在 FEMNIST（非 i.i.i.d.）上，DP 导致训练过程无法收敛，尽管客户端数量较多，模型效用仍极差。
- 在小规模医疗数据集上，客户端数量越多，训练结果方差越大；DP 并未提升准确率，仅当 ε=10 时表现出轻微损失降低。
- 在非 i.i.i.d. 数据和小样本数据集上，性能下降最为严重，DP 机制严重阻碍了学习过程。
- 即使使用较大的隐私预算（ε=100），模型准确率也无法恢复到非私有水平，凸显了根本性的权衡。
- 标准 ε 值（如 0.1）对小样本数据集而言过于严格，需使用更大的 ε 才能实现任何训练进展。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。