[论文解读] Scalable Differential Privacy with Certified Robustness in Adversarial Learning

Hai Thanh Phan, My T. Thai+4 more|arXiv (Cornell University)|Mar 23, 2019

Adversarial Robustness in Machine Learning被引用 23

一句话总结

本文提出StoBatch，一种可扩展的差分隐私对抗学习框架，能同时确保隐私性、经认证的鲁棒性以及高模型效用。通过在输入空间和潜在空间中注入噪声，并利用差分隐私中的顺序组合机制，StoBatch实现了更紧致的鲁棒性边界，并支持大规模深度神经网络的高效随机批量训练，在MNIST、CIFAR-10和Tiny ImageNet上面对强对抗攻击时，其准确率和可扩展性优于先前方法。

ABSTRACT

In this paper, we aim to develop a scalable algorithm to preserve differential privacy (DP) in adversarial learning for deep neural networks (DNNs), with certified robustness to adversarial examples. By leveraging the sequential composition theory in DP, we randomize both input and latent spaces to strengthen our certified robustness bounds. To address the trade-off among model utility, privacy loss, and robustness, we design an original adversarial objective function, based on the post-processing property in DP, to tighten the sensitivity of our model. A new stochastic batch training is proposed to apply our mechanism on large DNNs and datasets, by bypassing the vanilla iterative batch-by-batch training in DP DNNs. An end-to-end theoretical analysis and evaluations show that our mechanism notably improves the robustness and scalability of DP DNNs.

研究动机与目标

• 为解决构建同时具备隐私性（通过差分隐私）和对抗样本鲁棒性的深度神经网络这一开放挑战。
• 克服现有差分隐私机制在对抗训练期间无法保护训练数据的局限，尤其是在对抗样本源自私有数据时。
• 通过一种新型对抗目标函数，收紧全局敏感度，从而有效缓解模型效用、隐私损失与鲁棒性之间的权衡。
• 通过绕过逐轮批次训练的瓶颈，实现大规模数据集上私有且鲁棒模型的可扩展训练，支持分布式与高效训练。
• 通过组合输入空间与潜在空间噪声机制的鲁棒性，建立差分隐私与经认证鲁棒性之间的理论联系。

提出的方法

• 在输入层和隐藏（潜在）层中注入保持差分隐私的噪声，以确保模型参数学习过程中的隐私性，利用差分隐私中的顺序组合机制。
• 提出一种基于后处理不变性的新型DP-对抗目标函数，以收紧全局敏感度，并相比先前工作减少噪声注入量。
• 采用随机批量训练机制，将互不重叠的固定数据批次分配给本地训练器，实现同步梯度聚合，并在批次间高效生成对抗样本。
• 基于顺序组合理论推导广义鲁棒性边界，结合输入空间与潜在空间噪声注入带来的鲁棒性，优于仅考虑单一空间的边界。
• 在各训练周期中对训练数据采用固定划分方式，防止在梯度下降步骤间累积隐私预算，从而确保更紧密的隐私会计。
• 采用集成对抗学习方法，利用从私有良性数据生成的DP-对抗样例，提升在隐私约束下的决策边界鲁棒性。

实验结果

研究问题

• RQ1 能否在不损害模型效用的前提下，于对抗深度学习中同时实现差分隐私与经认证的鲁棒性？
• RQ2 当对抗样本由私有训练数据生成时，如何同时保持隐私与鲁棒性？
• RQ3 能否通过一种新型对抗目标函数，有效管理隐私损失、鲁棒性与模型准确率之间的权衡？
• RQ4 是否可能在不依赖缓慢的逐轮批次处理训练方式的前提下，将差分隐私对抗训练扩展至大规模深度神经网络与数据集？
• RQ5 差分隐私机制与深度神经网络中经认证鲁棒性之间存在何种理论联系？

主要发现

• 在ε=1.0和ε=2.0时，StoBatch在MNIST和CIFAR-10上分别实现了高达90%的经认证准确率，且在强迭代攻击（如I-FGSM、MIM）下保持鲁棒性。
• 在CIFAR-10数据集上，StoBatch在ε=2.0下对1,000步对抗攻击（如Madry et al.）仍保持超过80%的常规准确率，展现出强大鲁棒性。
• 该方法在大规模模型与数据集上表现出良好可扩展性，在ε=5.0时于Tiny ImageNet上取得高性能，表明其在真实场景中的实际适用性。
• 所提出的随机批量训练机制通过避免先前DP-DNN方法中逐轮批次处理的瓶颈，实现了高效且可扩展的分布式训练。
• 理论分析表明，由于采用固定数据划分，隐私预算不会在训练步骤间累积，从而实现更紧密的隐私会计。
• 通过顺序组合推导出的广义鲁棒性边界优于仅考虑输入空间或潜在空间噪声的先前边界，提供了更强的经认证保证。