[论文解读] Differentially Private Deep Learning with Direct Feedback Alignment

Jae Wook Lee, Daniel Kifer|arXiv (Cornell University)|Oct 8, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 5

一句话总结

该论文提出了首个基于直接反馈对齐（Direct Feedback Alignment, DFA）的差分隐私训练方法，DFA 是反向传播的一种受生物学启发的替代方法。通过在前向传播后对激活值和误差信号进行裁剪，使用固定的误差传输矩阵，并向更新方向添加高斯噪声，DP-DFA 在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上的全连接网络与卷积网络中，相比差分隐私随机梯度下降（DP-SGD），实现了 10%–20% 的准确率提升，混合 DFA/SGD 方法进一步提升了性能。

ABSTRACT

Standard methods for differentially private training of deep neural networks replace back-propagated mini-batch gradients with biased and noisy approximations to the gradient. These modifications to training often result in a privacy-preserving model that is significantly less accurate than its non-private counterpart. We hypothesize that alternative training algorithms may be more amenable to differential privacy. Specifically, we examine the suitability of direct feedback alignment (DFA). We propose the first differentially private method for training deep neural networks with DFA and show that it achieves significant gains in accuracy (often by 10-20%) compared to backprop-based differentially private training on a variety of architectures (fully connected, convolutional) and datasets.

研究动机与目标

• 为解决标准基于 SGD 的方法中因梯度偏差和噪声导致的差分隐私深度学习显著准确率下降问题。
• 探究受生物学启发的训练算法（如直接反馈对齐，DFA）是否比反向传播更易于实现差分隐私。
• 开发并评估一种基于 DFA 的新型差分隐私训练算法，避免逐样本梯度裁剪并减少梯度偏差。
• 在多种网络架构和数据集上，对比 DP-DFA 与差分隐私 SGD 及混合 DFA/SGD 方法的性能表现。
• 证明基于 DFA 的训练可缩小隐私模型与非隐私模型之间的准确率差距，推动隐私保护深度学习的发展。

提出的方法

• 提出一种基于直接反馈对齐（DFA）的差分隐私训练算法，其中误差信号通过固定随机矩阵传播，而非通过权重绑定的反向传播。
• 在前向传播后对激活值和误差信号应用梯度裁剪，而非在训练过程中进行，以控制敏感度。
• 使用固定且随机的误差传输矩阵计算误差反馈，避免反向传播中的权重传输问题。
• 向更新方向添加均值为零的高斯噪声，以确保 R{\'e}nyi 差分隐私，且噪声尺度根据隐私预算进行校准。
• 采用矩会计（moment accountant）追踪随时间推移的隐私损失，实现精确的 ε-δ 差分隐私会计。
• 实施一种混合训练策略：底层使用标准 SGD，顶层使用 DFA，灵感来源于非隐私环境下的混合方法。

实验结果

研究问题

• RQ1 能否将直接反馈对齐（DFA）适配于具有可证明隐私保证的差分隐私深度学习？
• RQ2 与标准差分隐私 SGD 相比，DP-DFA 是否能减少梯度偏差，从而提升模型准确率？
• RQ3 DP-DFA 在不同网络架构和数据集上的性能与差分隐私 SGD 相比如何？
• RQ4 混合 DFA/SGD 训练策略是否能进一步提升隐私保护深度学习中的准确率？
• RQ5 DP-DFA 中采用后激活裁剪与固定误差矩阵是否在保持隐私的同时提升了训练稳定性和准确率？

主要发现

• 在 Fashion-MNIST 和 CIFAR-10 的全连接网络上，DP-DFA 的测试准确率比差分隐私 SGD 高出 10%–20%，即使在高隐私预算下也表现优异。
• 在 Fashion-MNIST 上，DP-DFA 在 σ=0.01 时，经 200 个周期训练后达到 85.2% 的测试准确率（ε≈9.49，δ=10⁻⁵），优于相同隐私预算下的 DP-SGD。
• 在 CIFAR-10 上，混合 DFA/SGD 方法在 σ=0.03 时达到 62.1% 的测试准确率（ε≈2.61，δ=10⁻⁵），显著优于纯 DP-SGD 和纯 DP-DFA。
• 对于全连接网络，DP-DFA 在更少的训练周期内达到更高准确率，表明收敛更快且样本效率更高。
• 在相同设置下，DP-DFA 的隐私预算（ε）随时间增长速度慢于 DP-SGD，表明其具有更优的隐私-准确率权衡。
• 在 DFA 层中使用 tanh 和 sigmoid 激活函数的性能优于 ReLU，后者在非隐私环境下对 DFA 表现不佳。