[论文解读] Learning Rate Adaptation for Federated and Differentially Private Learning

Antti Koskela, Antti Honkela|arXiv (Cornell University)|Sep 11, 2018

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文提出 ADADP，一种用于差分隐私联邦随机梯度下降（SGD）的新型学习率自适应方法，无需依赖验证集。通过利用梯度流的数值外推来估计误差，ADADP 在训练过程中动态调整学习率，在 DP 和联邦学习设置下均实现了与最优调参的 Adam 和 SGD 相当的性能，且无需人工调参。

ABSTRACT

We propose an algorithm for the adaptation of the learning rate for stochastic gradient descent (SGD) that avoids the need for validation set use. The idea for the adaptiveness comes from the technique of extrapolation: to get an estimate for the error against the gradient flow which underlies SGD, we compare the result obtained by one full step and two half-steps. The algorithm is applied in two separate frameworks: federated and differentially private learning. Using examples of deep neural networks we empirically show that the adaptive algorithm is competitive with manually tuned commonly used optimisation methods for differentially privately training. We also show that it works robustly in the case of federated learning unlike commonly used optimisation methods.

研究动机与目标

• 为解决差分隐私和联邦学习中学习率调优的挑战，其中验证集往往不切实际或侵犯隐私。
• 开发一种严格、自适应的学习率方法，无需验证数据，降低计算成本并保护隐私预算。
• 改善联邦学习中客户端数据分布非均匀时的训练稳定性和性能，此时固定学习率会失效。
• 为 DP-SGD 中的手动调优优化器（如 Adam 和 SGD）提供一种隐私保护、自动化的替代方案。

提出的方法

• 该方法使用梯度流 ODE 的数值外推，通过比较单步与两步半步的差异，估计单次 SGD 步骤的误差。
• 基于全步与两半步之间的差异计算学习率更新，近似最优步长。
• 该算法可集成至 DP-SGD 和联邦平均中，隐私保证通过矩会计技术推导得出。
• 通过分析方法推导出一个容差超参数，以控制自适应的敏感度，确保收敛性和稳定性。
• 学习率在训练过程中自适应调整，初始值对选择不敏感——收敛至最优率可在首个训练周期内完成。
• 自适应阶段结束后，方法可切换至衰减学习率调度策略，进一步提升收敛性能。

实验结果

研究问题

• RQ1 能否开发一种学习率自适应方法，避免在差分隐私学习中使用验证集？
• RQ2 如何利用梯度流外推高效且隐私保护地估计最优学习率？
• RQ3 所提方法在 DP-SGD 设置下是否能在无需超参数调优的情况下超越手动调优的 Adam 和 SGD？
• RQ4 该方法能否在客户端数据分布高度非独立同分布（non-iid）的情况下稳定联邦学习？
• RQ5 容差超参数对自适应性能和收敛性有何影响？

主要发现

• 在 MNIST 和 CIFAR-10 实验中，ADADP 在差分隐私设置下实现了与最优调参 Adam 相当的性能，尤其在第二优的 Adam 配置下表现更优。
• 在 DP-SGD 中 σ = 4.0、6.0 和 8.0 的情况下，ADADP 均持续优于在 σ = 2.0 下调优的 SGD，展现出对噪声尺度的鲁棒性。
• 该方法对初始学习率不敏感，可在首个训练周期内收敛至最优率，显著降低调参负担。
• 在数据分布偏斜的联邦学习中，ADADP 稳定了训练过程并保持了高测试准确率，而 Adam 和 SGD 的性能则显著下降。
• ADADP 通过矩会计技术提供紧密的 (ε,δ)-隐私边界，确保形式化的隐私保证且不损害模型效用。
• 该方法支持端到端训练仅需一次运行，相比基于验证的调优方式，节省了计算成本并保护了隐私预算。