[论文解读] A Multi-Task Learning Framework for Overcoming the Catastrophic Forgetting in Automatic Speech Recognition

Jiabin Xue, Jiqing Han+3 more|arXiv (Cornell University)|Apr 17, 2019

Speech Recognition and Synthesis参考文献 27被引用 9

一句话总结

本文提出了一种多任务学习（MTL）框架 MTLCF，通过同时保留原始知识并学习新的领域特定知识，以缓解端到端自动语音识别（ASR）中的灾难性遗忘问题。通过使用平衡的损失加权方法联合优化知识保留和新任务适应两个任务，该方法在原始（LibriSpeech）和目标（Switchboard）数据集上均取得了最先进性能，与微调方法相比，原始数据集上的相对词错误率（CER）降低了5%。

ABSTRACT

Recently, data-driven based Automatic Speech Recognition (ASR) systems have achieved state-of-the-art results. And transfer learning is often used when those existing systems are adapted to the target domain, e.g., fine-tuning, retraining. However, in the processes, the system parameters may well deviate too much from the previously learned parameters. Thus, it is difficult for the system training process to learn knowledge from target domains meanwhile not forgetting knowledge from the previous learning process, which is called as catastrophic forgetting (CF). In this paper, we attempt to solve the CF problem with the lifelong learning and propose a novel multi-task learning (MTL) training framework for ASR. It considers reserving original knowledge and learning new knowledge as two independent tasks, respectively. On the one hand, we constrain the new parameters not to deviate too far from the original parameters and punish the new system when forgetting original knowledge. On the other hand, we force the new system to solve new knowledge quickly. Then, a MTL mechanism is employed to get the balance between the two tasks. We applied our method to an End2End ASR task and obtained the best performance in both target and original datasets.

研究动机与目标

• 解决在领域适应过程中端到端ASR系统中的灾难性遗忘问题。
• 克服微调方法（在原始领域上性能下降）和重新训练方法（无法同时优化两个领域）的局限性。
• 以可扩展的方式将终身学习原则应用于大规模ASR任务，使用固定架构。
• 开发一种多任务学习机制，以平衡知识保留与新任务学习。

提出的方法

• 将领域适应建模为两个独立任务：保留原始模型知识和学习新领域特定知识。
• 引入一个带有超参数 α 和 β 的平衡多任务学习目标函数，以控制两个任务之间的权衡。
• 应用 L2 正则化，限制参数更新远离原始权重，从而保留已学习的知识。
• 使用固定神经网络架构，以保持计算效率和可扩展性。
• 使用结合了任务特定损失并采用平衡加权的联合损失函数对模型进行优化。
• 调整超参数 α 和 β，以控制知识保留（任务1）与新任务性能（任务2）的相对重要性。

实验结果

研究问题

• RQ1 多任务学习框架能否在端到端ASR的领域适应过程中有效减少灾难性遗忘？
• RQ2 在知识保留与新任务学习之间保持平衡，对原始领域和目标领域性能有何影响？
• RQ3 在超参数 α 和 β 的取值上，如何实现原始知识保留与新领域适应之间的最优权衡？
• RQ4 所提出的方法是否在原始领域和目标领域性能上均优于标准微调和重新训练方法？
• RQ5 当原始领域与目标领域之间的训练数据规模存在显著差异时，该方法的鲁棒性如何？

主要发现

• MTLCF 方法在原始 LibriSpeech 测试集上实现了相对于初始模型 5% 的相对 CER 降低，证明了其在知识保留方面的有效性。
• 在 Switchboard 目标领域，MTLCF 实现了 0.2889 的 CER，优于微调（0.2899）和重新训练（0.3423），且目标数据量为 300 小时。
• 在 120 小时目标数据下，MTLCF 保持了优异性能，目标集 CER 为 0.3249，优于微调（0.3231）和重新训练（0.3788）。
• 最优超参数设置为 α = 0.5 和 β = 0.1，其中 β 对性能平衡的影响更强。
• 该方法在不同数据规模下均表现出一致的性能提升，证明了其对不平衡训练数据分布的鲁棒性。
• 在两个领域上的收敛速度均更优，表明其在高效联合学习旧知识与新知识方面具有优势。