[论文解读] Federated Deep Learning with Bayesian Privacy

Hanlin Gu, Lixin Fan+4 more|arXiv (Cornell University)|Sep 27, 2021

Privacy-Preserving Technologies in Data被引用 10

一句话总结

本文提出了一种新颖的贝叶斯隐私（BP）框架，通过先验与后验分布之间的Kullback-Leibler散度量化隐私损失，从而在联邦深度学习中对贝叶斯重建攻击提供严格防护。该研究提出联邦深度学习私钥机制（FDL-PP），将客户端特定的私钥嵌入模型参数中，以抵抗重建攻击，同时保持高模型准确率和低计算开销。

ABSTRACT

Federated learning (FL) aims to protect data privacy by cooperatively learning a model without sharing private data among users. For Federated Learning of Deep Neural Network with billions of model parameters, existing privacy-preserving solutions are unsatisfactory. Homomorphic encryption (HE) based methods provide secure privacy protections but suffer from extremely high computational and communication overheads rendering it almost useless in practice . Deep learning with Differential Privacy (DP) was implemented as a practical learning algorithm at a manageable cost in complexity. However, DP is vulnerable to aggressive Bayesian restoration attacks as disclosed in the literature and demonstrated in experimental results of this work. To address the aforementioned perplexity, we propose a novel Bayesian Privacy (BP) framework which enables Bayesian restoration attacks to be formulated as the probability of reconstructing private data from observed public information. Specifically, the proposed BP framework accurately quantifies privacy loss by Kullback-Leibler (KL) Divergence between the prior distribution about the privacy data and the posterior distribution of restoration private data conditioning on exposed information}. To our best knowledge, this Bayesian Privacy analysis is the first to provides theoretical justification of secure privacy-preserving capabilities against Bayesian restoration attacks. As a concrete use case, we demonstrate that a novel federated deep learning method using private passport layers is able to simultaneously achieve high model performance, privacy-preserving capability and low computational complexity. Theoretical analysis is in accordance with empirical measurements of information leakage extensively experimented with a variety of DNN networks on image classification MNIST, CIFAR10, and CIFAR100 datasets.

研究动机与目标

• 解决现有联邦学习隐私保护方法的局限性，特别是差分隐私（DP）对贝叶斯重建攻击的脆弱性。
• 设计一个理论基础坚实的隐私度量方法，利用贝叶斯推断量化模型更新中的信息泄露。
• 设计一种实用的联邦学习框架，同时确保高模型性能、强隐私保障和低计算开销。
• 提供理论依据，证明所提方法通过KL散度建模隐私损失，可有效抵抗各类贝叶斯重建攻击。

提出的方法

• 提出贝叶斯隐私（BP）框架，将隐私损失建模为私有数据先验分布与观察到公开模型更新后后验分布之间的KL散度。
• 将贝叶斯重建攻击形式化为概率推理问题，攻击者旨在从公开模型参数中重构私有数据。
• 引入FDL-PP框架，将客户端特定的私钥（Pγ, Pβ）嵌入批量归一化层，以调节缩放和偏移参数。
• 通过正则化损失L_P强制参数一致性，将模型权重γ和β与通过学习变换得到的私钥绑定。
• 使用联合损失函数进行模型训练：分类任务的交叉熵损失，以及基于私钥的隐私保护损失L_P。
• 在服务器端使用FedAvg聚合公开模型层，客户端则对冻结的公开层进行本地训练，并更新私钥层。

实验结果

研究问题

• RQ1 在联邦学习背景下，能否通过先验与后验信念之间的KL散度正式量化贝叶斯隐私损失？
• RQ2 差分隐私在多大程度上无法有效防范贝叶斯重建攻击？该问题能否通过分析手段进行度量？
• RQ3 能否设计一种联邦学习系统，同时实现高模型准确率、低计算成本和对贝叶斯重构攻击的强抵抗能力？
• RQ4 与标准DP或同态加密（HE）方法相比，FDL-PP中的私钥机制在防止信息泄露方面效果如何？
• RQ5 理论上的BP损失是否与通过重构误差和分布差异测量的实证信息泄露存在强相关性？

主要发现

• 所提出的贝叶斯隐私（BP）损失，通过先验与后验分布之间的KL散度进行度量，能准确量化模型更新中的信息泄露。
• 在MNIST、CIFAR10和CIFAR100上的实验表明，FDL-PP在保持强隐私保障的同时，实现了高测试准确率（如MNIST上达97.8%，CIFAR10上达88.2%）。
• 与DP基线相比，FDL-PP在贝叶斯重建攻击下，原始图像与重构图像之间的均方误差显著降低，表明信息泄露更少。
• 基于KL散度的BP损失与实证重构质量高度相关，验证了其作为可靠隐私度量的有效性。
• 在计算效率方面，FDL-PP优于DP-SGD和HE基线方法，训练时间与标准联邦学习相当，且远低于HE方法（低多个数量级）。
• 理论分析证实，FDL-PP中基于私钥的参数调制机制，即使在强贝叶斯推理假设下，也能有效限制攻击者重构私有数据的能力。