[论文解读] Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping

Martin Pelikán, Sheikh Shams Azam+5 more|arXiv (Cornell University)|Sep 29, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出了首个在端到端自动语音识别（ASR）中实现差分隐私联邦学习（DP-FL）的实用框架，通过逐层梯度裁剪和逐层自适应梯度归一化，缓解深度Transformer模型中的梯度异质性问题。在真实用户规模条件下，该方法实现了强大的隐私保障——(7.2, 10⁻⁹)-DP，且仅导致1.3%的绝对WER上升，为未来ASR领域DP-FL研究设立了基准。

ABSTRACT

While federated learning (FL) and differential privacy (DP) have been extensively studied, their application to automatic speech recognition (ASR) remains largely unexplored due to the challenges in training large transformer models. Specifically, large models further exacerbate issues in FL as they are particularly susceptible to gradient heterogeneity across layers, unlike the relatively uniform gradient behavior observed in shallow models. As a result, prior works struggle to converge with standard optimization techniques, even in the absence of DP mechanisms. To the best of our knowledge, no existing work establishes a competitive, practical recipe for FL with DP in the context of ASR. To address this gap, we establish extbf{the first benchmark for FL with DP in end-to-end ASR}. Our approach centers on per-layer clipping and layer-wise gradient normalization: theoretical analysis reveals that these techniques together mitigate clipping bias and gradient heterogeneity across layers in deeper models. Consistent with these theoretical insights, our empirical results show that FL with DP is viable under strong privacy guarantees, provided a population of at least several million users. Specifically, we achieve user-level (7.2, $10^{-9}$)-DP (resp. (4.5, $10^{-9}$)-DP) with only a 1.3% (resp. 4.6%) absolute drop in word error rate when extrapolating to high (resp. low) population scales for FL with DP in ASR. Although our experiments focus on ASR, the underlying principles we uncover - particularly those concerning gradient heterogeneity and layer-wise gradient normalization - offer broader guidance for designing scalable, privacy-preserving FL algorithms for large models across domains. Code of all experiments and benchmarks is available at https://github.com/apple/ml-pfl4asr.

研究动机与目标

• 为大规模ASR模型，特别是端到端Transformer模型，填补实用化、可扩展的DP-FL研究空白。
• 解决在DP联邦学习中，深层模型各层间梯度异质性的挑战。
• 为ASR中的DP-FL建立一个具有强(ε, δ)-DP保障的竞争力与可复现的基准。
• 证明当与逐层梯度归一化结合时，逐层裁剪可在强隐私约束下实现收敛与高性能。
• 为大规模、隐私保护的语音识别联邦学习提供所提优化策略的理论与实证验证。

提出的方法

• 提出将逐层梯度裁剪与逐层自适应梯度归一化相结合，以减少深层Transformer模型在DP-FL训练中产生的偏差与异质性。
• 采用一个参数量为2.5亿的原始编码器式Transformer模型，使用CTC损失进行端到端ASR训练。
• 采用用户级(ε, δ)-差分隐私，通过客户端的裁剪边界与隐私会计机制校准高斯噪声注入。
• 使用LAMB作为中心优化器，SGD作为本地优化器，并采用学习率预热与衰减策略以实现稳定训练。
• 引入基于相关领域预训练模型的种子模型微调策略，以提升收敛速度。
• 采用严格的隐私会计与收敛性分析，为所提裁剪与归一化方案提供理论支持。

实验结果

研究问题

• RQ1 尽管各层间存在梯度异质性，DP-FL能否有效应用于大规模端到端ASR模型？
• RQ2 当与逐层梯度归一化结合时，逐层裁剪是否能提升DP-FL在ASR中的收敛性与性能？
• RQ3 在真实用户规模下，隐私预算(ε, δ)与ASR模型准确率之间的权衡关系如何？
• RQ4 数据异质性、优化器超参数与模型初始化如何影响DP-FL在ASR中的收敛性？
• RQ5 能否为ASR中的DP-FL建立一种实用且具有竞争力的训练方案，在强隐私保障下实现与中心化训练相当的性能？

主要发现

• 在数百万用户规模下，该方法实现了(7.2, 10⁻⁹)-DP，与非私有的中心化训练相比，词错误率（WER）仅增加1.3%的绝对值。
• 在较低用户规模下，该方法实现了(4.5, 10⁻⁹)-DP，WER绝对值下降4.6%，展现出优异的隐私-准确率权衡。
• 将逐层裁剪与逐层梯度归一化结合，可有效降低梯度异质性与裁剪偏差，使深层模型在标准方法失效时仍能实现收敛。
• 即使在客户端数据异质性较高的情况下，模型仍能实现具有竞争力的性能，尤其在使用来自不同领域的预训练种子模型进行微调时表现更优。
• 理论分析证实，所提方法能稳定训练动态并提升DP-FL下的收敛性。
• 该基准与代码库（https://github.com/apple/ml-pfl4asr）已公开发布，支持可复现性，并推动ASR领域DP-FL的后续研究。