[论文解读] Audio Spoofing Verification using Deep Convolutional Neural Networks by Transfer Learning

Rahul T. P, P. R. Aravind+3 more|arXiv (Cornell University)|Aug 8, 2020

Speech Recognition and Synthesis参考文献 13被引用 27

一句话总结

该论文提出了一种基于迁移学习的深度卷积神经网络（DCNN），采用梅尔频谱图（Mel-spectrograms）和微调的ResNet-34架构，用于检测音频欺骗攻击。在ASVspoof 2019逻辑访问开发集上，其EER达到0.9056%，在测试集上为5.32%，优于基线模型，并在包括重放、文本转语音（TTS）和语音转换在内的多种欺骗类型中表现出强大的泛化能力。

ABSTRACT

Automatic Speaker Verification systems are gaining popularity these days; spoofing attacks are of prime concern as they make these systems vulnerable. Some spoofing attacks like Replay attacks are easier to implement but are very hard to detect thus creating the need for suitable countermeasures. In this paper, we propose a speech classifier based on deep-convolutional neural network to detect spoofing attacks. Our proposed methodology uses acoustic time-frequency representation of power spectral densities on Mel frequency scale (Mel-spectrogram), via deep residual learning (an adaptation of ResNet-34 architecture). Using a single model system, we have achieved an equal error rate (EER) of 0.9056% on the development and 5.32% on the evaluation dataset of logical access scenario and an equal error rate (EER) of 5.87% on the development and 5.74% on the evaluation dataset of physical access scenario of ASVspoof 2019.

研究动机与目标

• 开发一种对多种欺骗攻击（包括重放、文本转语音和语音转换）具有强鲁棒性的音频欺骗检测系统。
• 通过利用预训练深度神经网络的迁移学习方法，提升检测性能，超越现有基线模型。
• 评估梅尔频谱图作为时间-频率表示方法在自动说话人验证系统中欺骗检测性能的表现。
• 证明单一统一模型能够有效检测逻辑访问与物理访问两种场景下的欺骗攻击。

提出的方法

• 系统采用梅尔频谱图作为输入特征，通过2048点FFT（512点步长）从原始音频提取，并重采样为224×224以适配模型输入。
• 通过在ASVspoof 2019数据集上微调预训练的ResNet-34架构，应用迁移学习，利用大规模图像分类任务中学习到的特征。
• 使用ADAM优化器，学习率为1e-6，在Google Colab的Tesla K80 GPU上训练8个周期，批量大小为64。
• 音频预处理通过Google Cloud Platform完成，模型训练基于PyTorch构建的fastai库。
• 框架根据从梅尔频谱图输入中学习到的高层特征，将输入音频分类为真实（bona fide）或欺骗（spoofed）。
• 性能通过等错误率（EER）和t-DCF进行评估，通过阈值优化平衡误接受率与误拒绝率。

实验结果

研究问题

• RQ1 通过迁移学习训练的单一深度学习模型是否能有效泛化到多种欺骗攻击类型（包括重放、TTS和语音转换）？
• RQ2 与其它前端特征相比，使用梅尔频谱图作为时间-频率表示方法在欺骗检测性能上表现如何？
• RQ3 与从零开始训练或使用简单模型相比，微调预训练的ResNet-34架构在多大程度上提升了欺骗检测准确率？
• RQ4 统一模型架构在ASVspoof 2019挑战中的逻辑访问与物理访问两种场景下是否表现出相当的性能？
• RQ5 该模型性能与对开发集中未出现的新型欺骗算法的泛化能力之间是否存在相关性？

主要发现

• 所提模型在逻辑访问场景的开发集上EER为0.9056%，测试集上为5.32%，优于基线CQCC-GMM和LFCC-GMM系统。
• 在物理访问场景中，模型在开发集上EER为5.87%，测试集上为5.74%，表现出对不同访问类型的高度鲁棒性。
• 在物理访问场景中，t-DCF与EER的相关系数达0.99686，在逻辑访问场景中为0.96886，表明性能指标具有一致性。
• 在主要性能指标和单系统性能指标上，该系统在逻辑与物理访问场景中均位列前三名。
• 该模型在检测基于语音转换的欺骗攻击（如A17）方面表现优于基线方法，表明其对复杂欺骗技术具有强泛化能力。
• 尽管在开发集与测试集上表现优异，其EER仍低于ASVspoof 2019挑战中最佳系统（逻辑访问场景EER为11.40%），表明在应对未见欺骗变体方面仍有改进空间。