[论文解读] Federated Model Distillation with Noise-Free Differential Privacy

Lichao Sun, Lingjuan Lyu|arXiv (Cornell University)|Sep 11, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用 25

一句话总结

该论文提出 FedMD-NFDP，一种联邦模型蒸馏框架，通过利用私有数据的随机采样实现无噪声差分隐私（NFDP），无需显式添加噪声。该方法仅通过采样即可确保 $(\epsilon,\delta)$-差分隐私，从而在异构模型和数据分布下实现强隐私保障，同时保持极低的效用损失和高通信效率。

ABSTRACT

Conventional federated learning directly averages model weights, which is only possible for collaboration between models with homogeneous architectures. Sharing prediction instead of weight removes this obstacle and eliminates the risk of white-box inference attacks in conventional federated learning. However, the predictions from local models are sensitive and would leak training data privacy to the public. To address this issue, one naive approach is adding the differentially private random noise to the predictions, which however brings a substantial trade-off between privacy budget and model performance. In this paper, we propose a novel framework called FEDMD-NFDP, which applies a Noise-Free Differential Privacy (NFDP) mechanism into a federated model distillation framework. Our extensive experimental results on various datasets validate that FEDMD-NFDP can deliver not only comparable utility and communication efficiency but also provide a noise-free differential privacy guarantee. We also demonstrate the feasibility of our FEDMD-NFDP by considering both IID and non-IID setting, heterogeneous model architectures, and unlabelled public datasets from a different distribution.

研究动机与目标

• 为解决联邦模型蒸馏中因共享模型预测而可能暴露训练数据的隐私泄露风险。
• 克服在预测中添加差分隐私噪声所固有的隐私与效用之间的权衡。
• 开发一种无需显式噪声注入的无噪声差分隐私机制，通过随机采样内在地保证隐私。
• 在异构模型架构和非独立同分布（non-IID）数据分布下，实现联邦模型蒸馏的同时保持强隐私保障。
• 证明 NFDP 在真实联邦学习（FL）场景中的可行性与有效性，包括少样本学习和半监督学习。

提出的方法

• 提出一种新颖的无噪声差分隐私（NFDP）机制，依赖于对私有数据的随机采样，而非向模型预测中添加噪声。
• 将 NFDP 应用于联邦模型蒸馏（FedMD），其中客户端共享其在公共未标注数据集上的蒸馏预测结果，而非模型权重。
• 采用有放回和无放回两种采样策略，形式化证明 NFDP 满足 $(\epsilon,\delta)$-差分隐私。
• 采用两阶段训练流程：首先，每个客户端在其私有数据上对齐到公共数据集上的公共 logits；其次，基于私有数据进行微调。
• 利用采样的隐私放大效应，每轮通信仅使用少量私有样本，从而收紧隐私预算。
• 将 NFDP 机制集成到联邦蒸馏流水线中，确保客户端向服务器共享的预测结果在不造成性能下降的前提下获得隐私保护。

实验结果

研究问题

• RQ1 仅通过私有数据的随机采样，是否能在联邦模型蒸馏中提供理论可靠的差分隐私保障？
• RQ2 所提出的无噪声差分隐私（NFDP）机制是否能消除显式噪声添加的需求，同时保持强隐私和高效率？
• RQ3 与基于噪声的隐私联邦学习方法相比，FedMD-NFDP 在非独立同分布（non-IID）和异构模型设置下的表现如何？
• RQ4 NFDP 是否能有效应用于仅拥有少量私有数据的少样本学习和半监督学习场景？
• RQ5 FedMD-NFDP 在不同数据集和模型架构下的通信效率与效用权衡如何？

主要发现

• 所提出的 NFDP 机制通过采样（无论有放回或无放回）内在地确保 $(\epsilon,\delta)$-差分隐私，无需任何噪声添加。
• FedMD-NFDP 在每轮仅使用每个客户端少量私有样本的情况下，仍能实现与非私有基线相当的模型效用。
• 该框架在独立同分布（IID）和非独立同分布（non-IID）数据分布下均保持强隐私保障，展现出对数据异构性的鲁棒性。
• 在多个基准数据集上的实验表明，FedMD-NFDP 在隐私-效用权衡方面优于基于噪声添加的方法，避免了先前工作中常见的性能下降。
• 该方法支持异构模型架构和来自不同分布的未标注公共数据集，证实了其泛化能力和实际适用性。
• 由于采样带来的强隐私放大效应，该框架适用于少样本学习和半监督学习任务，即仅需少量私有样本即可运行。