[论文解读] Learning rate adaptation for differentially private stochastic gradient descent

Antti Koskela, Antti Honkela|arXiv (Cornell University)|Sep 11, 2018

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种用于随机梯度下降（DP-SGD）的差分隐私学习率自适应方法，通过基于外推的误差估计消除了对验证集的依赖。通过比较梯度更新中的完整步长与半步长，并应用矩会计（moments accountant）以获得紧密的隐私边界，该方法在DP-SGD和差分隐私变分推断中实现了与人工调优优化器相当的性能。

ABSTRACT

Differentially private learning has recently emerged as the leading approach for privacy-preserving machine learning. Differential privacy can complicate learning procedures because each access to the data needs to be carefully designed and carries a privacy cost. For example, standard parameter tuning with a validation set cannot be easily applied. In this paper, we propose a differentially private algorithm for the adaptation of the learning rate for differentially private stochastic gradient descent (SGD) that avoids the need for validation set use. The idea for the adaptiveness comes from the technique of extrapolation in classical numerical analysis: to get an estimate for the error against the gradient flow which underlies SGD, we compare the result obtained by one full step and two half-steps. We prove the privacy of the method using the moments accountant mechanism. This allows us to compute tight privacy bounds. Empirically we show that our method is competitive with manually tuned commonly used optimisation methods for training deep neural networks and differentially private variational inference.

研究动机与目标

• 为解决差分隐私机器学习中的超参数调优挑战，特别是学习率选择问题，且不依赖验证集。
• 开发一种与DP-SGD兼容的隐私保护学习率自适应机制，同时保持强隐私保证。
• 通过估计相对于底层梯度流的误差，实现在DP-SGD中自动、自适应的学习率调度。
• 利用矩会计实现严格的隐私会计，以获得紧密且准确的隐私边界。
• 在深度学习和差分隐私变分推断中，对方法的性能进行实证评估，与人工调优优化器进行对比。

提出的方法

• 该方法利用数值分析中的外推法，通过比较一次完整步长与两次半步长，估计离散DP-SGD更新与连续梯度流之间的误差。
• 基于完整步长与两次半步长轨迹之间的差异，计算学习率自适应信号，该信号反映了优化路径中的局部曲率与误差。
• 采用矩会计机制计算整个训练过程的紧密隐私边界，确保正式的差分隐私保证。
• 在训练过程中根据估计误差自适应调整学习率，而无需访问验证集。
• 该方法被整合进DP-SGD框架，通过仔细的噪声注入与会计机制，确保每一步梯度更新均保持隐私。
• 该方法设计为可即插即用，与现有DP-SGD实现兼容，仅需极少修改。

实验结果

研究问题

• RQ1 能否设计一种差分隐私学习率自适应方法，避免使用验证集？
• RQ2 在DP-SGD训练过程中，如何以隐私保护的方式估计相对于梯度流的误差？
• RQ3 矩会计机制能否与自适应学习率调度有效结合，以维持紧密的隐私边界？
• RQ4 所提出方法在DP-SGD和差分隐私变分推断中的性能与人工调优优化器相比如何？
• RQ5 自适应学习率调度对差分隐私学习中模型收敛性与泛化能力有何影响？

主要发现

• 所提方法在差分隐私下的深度神经网络训练中，性能与人工调优优化器相当。
• 该方法消除了对验证集的需求，简化了DP-SGD中的超参数调优流程。
• 通过矩会计实现紧密的隐私边界，使隐私会计更加准确可靠。
• 实证结果表明，该自适应学习率方法在DP-SGD和差分隐私变分推断设置中均表现出良好的泛化能力。
• 基于外推的误差估计能有效捕捉局部优化动态，从而实现有效的学习率调整。
• 该方法在保持强隐私保证的同时，在私有学习基准测试中实现了最先进性能。