[论文解读] Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection

Xiaohui Zhang, Jiangyan Yi+3 more|arXiv (Cornell University)|Aug 7, 2023

Music and Audio Processing被引用 4

一句话总结

本文提出正则化自适应权重修改（RAWM），一种用于虚假音频检测的持续学习方法，该方法在微调过程中根据真实音频与虚假音频的比例自适应调整模型权重，同时通过正则化保留分布偏移下的知识。RAWM在跨数据集检测基准上优于现有方法，实现了最先进性能，且无需访问旧训练数据。

ABSTRACT

Current fake audio detection algorithms have achieved promising performances on most datasets. However, their performance may be significantly degraded when dealing with audio of a different dataset. The orthogonal weight modification to overcome catastrophic forgetting does not consider the similarity of genuine audio across different datasets. To overcome this limitation, we propose a continual learning algorithm for fake audio detection to overcome catastrophic forgetting, called Regularized Adaptive Weight Modification (RAWM). When fine-tuning a detection network, our approach adaptively computes the direction of weight modification according to the ratio of genuine utterances and fake utterances. The adaptive modification direction ensures the network can effectively detect fake audio on the new dataset while preserving its knowledge of old model, thus mitigating catastrophic forgetting. In addition, genuine audio collected from quite different acoustic conditions may skew their feature distribution, so we introduce a regularization constraint to force the network to remember the old distribution in this regard. Our method can easily be generalized to related fields, like speech emotion recognition. We also evaluate our approach across multiple datasets and obtain a significant performance improvement on cross-dataset experiments.

研究动机与目标

• 解决在无法访问先前数据的情况下，对新数据集进行微调时虚假音频检测中的灾难性遗忘问题。
• 通过根据真实/虚假音频比例自适应调整权重修改方向，提升跨数据集泛化能力。
• 缓解由于不同数据集间真实音频分布差异（如声学条件不同）导致的性能下降问题。
• 开发一种可扩展至虚假音频检测以外任务的方法，例如语音情感识别。
• 在最小归纳偏差下实现优异性能，避免依赖经验回放或数据增强。

提出的方法

• RAWM基于新数据集中真实与虚假语音样本的比例，自适应计算权重修改方向。
• 其使用与旧输入张成子空间正交的投影器，但当真实音频占主导时，方向会调整为更靠近旧输入子空间。
• 当虚假音频更为普遍时，权重修改方向则更趋近于与旧输入子空间正交。
• 引入正则化约束以保留旧真实音频的特征分布，尤其在新旧数据集声学条件差异显著时。
• 该方法无需存储或重放旧数据，适用于具有专有模型的实际部署场景。
• 通过CLEAR-10基准上的图像识别实验，将该方法推广至图像识别任务，证实其广泛适用性。

(a)

实验结果

研究问题

• RQ1 当无法访问旧训练数据时，如何在对新数据集微调过程中缓解虚假音频检测中的灾难性遗忘？
• RQ2 当新数据集中真实与虚假音频比例变化时，最优的权重更新方向是什么？
• RQ3 当新旧数据集在显著不同的声学条件下采集时，如何保留旧真实音频分布的知识？
• RQ4 所提出的方法能否推广至虚假音频检测以外的其他机器学习任务？
• RQ5 在多样化数据集上，RAWM与现有持续学习基线方法相比，在性能和鲁棒性方面表现如何？

主要发现

• 在CLEAR-10图像分类基准的10次经验中，RAWM实现了92.53%的平均准确率，高于所有基线方法（包括Replay、EWC、LwF、GDF、CWR和OWM），表现最优。
• 在ASVspoof和ADD虚假音频检测基准上，RAWM在最终一次经验（Exp10）中达到95.25%的准确率，超过OWM（95.05%）及其他方法。
• 在跨数据集检测中，RAWM显著优于微调、EWC、LwF、GDF、CWR和OWM，展现出对分布偏移的强鲁棒性。
• 在Exp3和Exp8中，RAWM接近Replay方法的上限性能，表明其具备强大的知识保留能力。
• 即使仅使用少量样本进行训练，该方法仍保持高性能，展现出优异的样本效率。
• 正则化组件在声学条件变化下有效保留了旧特征分布，提升了在具有挑战性的跨数据集场景下的泛化能力。

(b)