[论文解读] Federated Transfer Learning with Dynamic Gradient Aggregation

Dimitrios Dimitriadis, Kenichi Kumatani+3 more|arXiv (Cornell University)|Aug 6, 2020

Speech Recognition and Synthesis参考文献 30被引用 8

一句话总结

本文提出了一种用于语音识别的联邦迁移学习（FTL）平台，引入了一种分层优化方案和一种基于数据质量动态加权梯度的动态梯度聚合（DGA）算法。该方法将收敛速度提升至最高7倍，并在LibriSpeech数据集上将词错误率（WER）降低6%，在会话适应任务上降低20%，通过数据驱动的梯度更新正则化，优于集中式训练和基线联邦学习方法。

ABSTRACT

In this paper, a Federated Learning (FL) simulation platform is introduced. The target scenario is Acoustic Model training based on this platform. To our knowledge, this is the first attempt to apply FL techniques to Speech Recognition tasks due to the inherent complexity. The proposed FL platform can support different tasks based on the adopted modular design. As part of the platform, a novel hierarchical optimization scheme and two gradient aggregation methods are proposed, leading to almost an order of magnitude improvement in training convergence speed compared to other distributed or FL training algorithms like BMUF and FedAvg. The hierarchical optimization offers additional flexibility in the training pipeline besides the enhanced convergence speed. On top of the hierarchical optimization, a dynamic gradient aggregation algorithm is proposed, based on a data-driven weight inference. This aggregation algorithm acts as a regularizer of the gradient quality. Finally, an unsupervised training pipeline tailored to FL is presented as a separate training scenario. The experimental validation of the proposed system is based on two tasks: first, the LibriSpeech task showing a speed-up of 7x and 6% Word Error Rate reduction (WERR) compared to the baseline results. The second task is based on session adaptation providing an improvement of 20% WERR over a competitive production-ready LAS model. The proposed Federated Learning system is shown to outperform the golden standard of distributed training in both convergence speed and overall model performance.

研究动机与目标

• 为解决在真实语音识别中常见的异构、非独立同分布（non-iid）数据分布下，训练鲁棒声学模型的挑战。
• 在数据不平衡和隐私约束条件下，提升联邦学习在自动语音识别（ASR）中的收敛速度和模型性能。
• 开发一种新颖的梯度聚合机制，根据数据质量自适应地加权梯度，作为正则化手段以缓解低质量更新的影响。
• 在联邦设置下实现有效的无监督模型适应，利用合成（TTS）和真实语音数据，最小化灾难性遗忘。
• 展示首个使用模块化、可扩展的联邦学习平台的端到端联邦训练流水线，支持序列到序列模型的训练。

提出的方法

• 提出一种分层优化框架，支持在多阶段模型适应过程中灵活且高效地组合训练流水线。
• 提出一种动态梯度聚合（DGA）算法，通过数据驱动的质量估计推断样本级权重，在聚合过程中优先处理高质量梯度。
• DGA机制通过降低低质量数据批次的梯度权重，起到正则化作用，从而提升模型的鲁棒性和收敛性。
• 实现了一个两阶段无监督训练流水线：首先，通过TTS合成将种子模型适配到租户特定的文本数据；其次，利用演示语音在联邦学习中对模型进行微调。
• 在第二阶段中，于服务器端引入真实语音数据，以正则化训练过程并防止对合成TTS数据的过拟合。
• 该平台支持模块化任务扩展，并在使用LAS和RNN-T架构模型的监督式LibriSpeech任务与无监督会话适应任务上进行了评估。

实验结果

研究问题

• RQ1 联邦学习能否在异构、非独立同分布的数据分布下有效应用于自动语音识别？
• RQ2 如何使联邦学习中的梯度聚合机制适应数据质量，以提升收敛性和模型鲁棒性？
• RQ3 在联邦微调中，合成TTS数据在多大程度上可被有效利用而不引发灾难性遗忘？
• RQ4 分层训练流水线是否能提升联邦会话适应在语音识别中的性能？
• RQ5 与标准的FedAvg和BMUF基线相比，动态梯度加权是否能带来可测量的收敛速度和词错误率（WER）改进？

主要发现

• 所提出的DGA算法相比基线分布式和联邦训练方法（如FedAvg和BMUF），将训练收敛速度提升了7倍。
• 在LibriSpeech基准上，该方法相比基线将词错误率（WER）降低了6%，证明了模型准确性的提升。
• 在会话适应任务中，分层无监督训练流水线相比一个生产就绪的LAS模型，实现了20%的相对WER改进。
• 在服务器端训练过程中引入真实语音数据，显著减少了模型漂移和对合成TTS数据的过拟合，提升了泛化能力。
• 动态梯度聚合机制通过降低低质量梯度的权重，有效实现了训练正则化，尤其在数据稀疏或噪声较大的条件下表现更优。
• FTL平台成功实现了在联邦设置中对序列到序列模型的端到端训练，展示了其在多样化ASR场景下的可扩展性和适应性。