[论文解读] Synthetic speech detection using meta-learning with prototypical loss

Monisankha Pal, Aditya Raikar+2 more|arXiv (Cornell University)|Jan 24, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

该论文提出了一种基于原型损失的元学习方法用于合成语音检测，采用SE-ResNet34主干网络以提升对未见欺骗攻击的泛化能力。该方法在ASVspoof 2021挑战赛基线基础上将min-tDCF相对提升了3.6%，整体排名18位，且在未使用数据增强的情况下仍表现出色。

ABSTRACT

Recent works on speech spoofing countermeasures still lack generalization ability to unseen spoofing attacks. This is one of the key issues of ASVspoof challenges especially with the rapid development of diverse and high-quality spoofing algorithms. In this work, we address the generalizability of spoofing detection by proposing prototypical loss under the meta-learning paradigm to mimic the unseen test scenario during training. Prototypical loss with metric-learning objectives can learn the embedding space directly and emerges as a strong alternative to prevailing classification loss functions. We propose an anti-spoofing system based on squeeze-excitation Residual network (SE-ResNet) architecture with prototypical loss. We demonstrate that the proposed single system without any data augmentation can achieve competitive performance to the recent best anti-spoofing systems on ASVspoof 2019 logical access (LA) task. Furthermore, the proposed system with data augmentation outperforms the ASVspoof 2021 challenge best baseline both in the progress and evaluation phase of the LA task. On ASVspoof 2019 and 2021 evaluation set LA scenario, we attain a relative 68.4% and 3.6% improvement in min-tDCF compared to the challenge best baselines, respectively.

研究动机与目标

• 解决现有合成语音欺骗检测系统对未见攻击泛化能力不足的问题。
• 提升反欺骗模型在VoIP和固定电话编解码器等多样化传输条件下的鲁棒性。
• 探究原型损失在元学习范式中用于欺骗对抗措施的有效性。
• 研究数据增强策略（特别是编解码器和音高-混响增强）对模型泛化能力的影响。
• 开发一种评分级融合机制，以整合多个子系统以提升性能。

提出的方法

• 在元学习框架中使用原型损失训练一个原型网络，学习真实语音和欺骗语音的类别原型。
• 采用SE-ResNet34-avg作为嵌入提取器，通过平均池化减少过拟合，相比注意力池化更优。
• 在ASVspoof 2019数据上应用alaw和G722编解码器增强，以模拟ASVspoof 2021的信道条件。
• 通过WavAugment实现时域数据增强，包括随机音高偏移和房间混响。
• 使用BOSARIS工具包实现评分级融合，在ASVspoof 2019开发集上优化融合权重。
• 最终决策通过测试嵌入与类别原型之间的模板匹配完成。

实验结果

研究问题

• RQ1 在元学习框架中使用原型损失是否能提升合成语音检测对未见欺骗攻击的泛化能力？
• RQ2 所提出的原型损失与传统分类损失（如OC-Softmax）和度量学习损失（如对比损失、三元组损失）相比，在欺骗检测中的表现如何？
• RQ3 编解码器和音高-混响数据增强在ASVspoof 2021 LA任务上能在多大程度上提升模型鲁棒性？
• RQ4 在泛化能力和min-tDCF方面，更简单的模型（SE-ResNet34-avg）是否优于更复杂的模型（SE-ResNet34-atten）？
• RQ5 多个子系统的评分级融合是否能进一步提升检测性能，超越单一模型的表现？

主要发现

• 所提系统在评估集上相较ASVspoof 2019挑战赛基线，min-tDCF相对提升了68.4%。
• 在ASVspoof 2021评估集上，系统在min-tDCF上相较挑战赛最佳基线（LFCC-LCNN）实现了3.6%的相对提升，在EER上提升了2.5%。
• SE-ResNet34-avg模型优于SE-ResNet34-atten，表明在此设置下注意力池化可能导致过拟合。
• 编解码器增强（alaw和G722）在进展阶段将min-tDCF从0.3329降低至0.3058，在评估阶段从0.3545降低至0.3412。
• 仅使用音高-混响增强可提升性能，但与编解码器增强结合后性能下降，表明可能存在冗余信息。
• 四个子系统（包含不同特征和损失函数）的评分级融合实现了最佳提交结果，min-tDCF = 0.3320，EER = 9.03，整体在ASVspoof 2021挑战赛中排名第18位。