[论文解读] Investigating self-supervised front ends for speech spoofing countermeasures

Xin Wang, Junichi Yamagishi|arXiv (Cornell University)|Nov 15, 2021

Speech Recognition and Synthesis被引用 12

一句话总结

本文研究了自监督语音模型作为语音欺骗检测反制措施（CMs）前端的效果，表明通过简单后端微调预训练的HuBERT或Wav2vec 2.0模型，可在多个ASVspoof基准测试中实现最先进的一般化性能。这些CMs在未见过的欺骗攻击上表现优于传统的LFCC基线方法，尤其依赖于0.1–2.4 kHz的低频语言特征，这些特征比传统方法使用的高频线索更具鲁棒性和泛化能力。

ABSTRACT

Self-supervised speech model is a rapid progressing research topic, and many pre-trained models have been released and used in various down stream tasks. For speech anti-spoofing, most countermeasures (CMs) use signal processing algorithms to extract acoustic features for classification. In this study, we use pre-trained self-supervised speech models as the front end of spoofing CMs. We investigated different back end architectures to be combined with the self-supervised front end, the effectiveness of fine-tuning the front end, and the performance of using different pre-trained self-supervised models. Our findings showed that, when a good pre-trained front end was fine-tuned with either a shallow or a deep neural network-based back end on the ASVspoof 2019 logical access (LA) training set, the resulting CM not only achieved a low EER score on the 2019 LA test set but also significantly outperformed the baseline on the ASVspoof 2015, 2021 LA, and 2021 deepfake test sets. A sub-band analysis further demonstrated that the CM mainly used the information in a specific frequency band to discriminate the bona fide and spoofed trials across the test sets.

研究动机与目标

• 评估预训练的自监督语音模型是否可在无需欺骗训练数据的情况下，作为稳健的前端用于欺骗检测反制措施。
• 研究在使用自监督前端时，后端架构选择对性能的影响。
• 确定微调自监督前端是否能提升在多种欺骗攻击类型和测试集上的泛化能力。
• 识别在自监督CM中，哪些频带包含区分真实语音与欺骗语音的判别性信息。

提出的方法

• 使用预训练的自监督模型（HuBERT和Wav2vec 2.0）作为前端，从原始语音波形中提取序列级表征。
• 前端输出通过多种后端架构进行处理，包括浅层（LLGF）和深层（LGF、GF）神经网络，均采用全局平均池化和全连接层。
• 前端在ASVspoof 2019 LA训练集上保持固定或通过交叉熵损失进行端到端微调，用于欺骗分类。
• 通过应用带阻滤波器，对子带进行分析，以隔离特定频带对欺骗检测性能的贡献。
• 在多个测试集（ASVspoof 2015、2019 LA和2021 DF）上使用Equal Error Rate（EER）评估性能。
• 实验将自监督CM与基于LFCC特征和标准GF后端的基线方法进行比较。

实验结果

研究问题

• RQ1 在结合自监督前端时，哪种后端架构在欺骗检测反制措施中最为有效？
• RQ2 微调预训练的自监督前端是否能提升在多种欺骗攻击类型和测试集上的泛化能力？
• RQ3 哪种预训练的自监督模型（如Wav2vec 2.0或HuBERT）作为欺骗检测前端表现最佳？
• RQ4 在自监督CM中，哪些频带包含区分真实语音与欺骗语音的最判别性信息？
• RQ5 自监督CM在多个基准数据集上的性能与传统LFCC基线相比如何？

主要发现

• 使用简单后端（平均池化 + 线性层）微调自监督前端，在ASVspoof 2019 LA测试集上实现了4.8%的EER，与强基线性能相当。
• 在ASVspoof 2015、2021 LA和2021 DF测试集上，微调后的CM显著优于基线，部分数据集的EER降低了高达50%。
• 使用自监督前端的CM对0.1–2.4 kHz频带的带阻滤波最为敏感，表明其依赖于低频语言特征。
• 使用LFCC特征的基线CM对高频带阻滤波（如5.6–7.2 kHz）高度敏感，此类条件下EER上升至46%。
• 自监督CM在不同测试集上表现出一致的性能，表明其学习到的特征比手工设计的DSP特征更具泛化能力。
• 子带分析显示，自监督CM主要依赖0.1–2.4 kHz频带的信息，该频带包含可泛化的语言线索，而基线方法则依赖高频的信道特定伪影。