[论文解读] Attentive Filtering Networks for Audio Replay Attack Detection

Cheng-I Lai, Alberto Abad+4 more|arXiv (Cornell University)|Oct 31, 2018

Speech Recognition and Synthesis参考文献 13被引用 4

一句话总结

本文提出了一种用于自动说话人验证中音频重放攻击检测的注意力过滤网络（AFN），结合基于注意力的滤波器以增强时域与频域的判别性特征，并采用空洞残差网络（DRN）分类器。该方法在 ASVspoof 2017 Version 2.0 测试集上实现了 8.99% 的 EER，通过系统融合实现了 30% 的相对性能提升，表明其在小样本、类别不平衡数据集上具有有效的特征增强与鲁棒的泛化能力。

ABSTRACT

An attacker may use a variety of techniques to fool an automatic speaker verification system into accepting them as a genuine user. Anti-spoofing methods meanwhile aim to make the system robust against such attacks. The ASVspoof 2017 Challenge focused specifically on replay attacks, with the intention of measuring the limits of replay attack detection as well as developing countermeasures against them. In this work, we propose our replay attacks detection system - Attentive Filtering Network, which is composed of an attention-based filtering mechanism that enhances feature representations in both the frequency and time domains, and a ResNet-based classifier. We show that the network enables us to visualize the automatically acquired feature representations that are helpful for spoofing detection. Attentive Filtering Network attains an evaluation EER of 8.99$\%$ on the ASVspoof 2017 Version 2.0 dataset. With system fusion, our best system further obtains a 30$\%$ relative improvement over the ASVspoof 2017 enhanced baseline system.

研究动机与目标

• 开发一种深度学习系统，自动识别并增强用于重放攻击检测的时域与频域判别性特征。
• 解决在语音特征中攻击线索可能稀疏、时变或部分可观测时的检测挑战。
• 提升在反欺骗基准中常见的小样本、类别不平衡数据集上的抗过拟合能力。
• 可视化并解释学习到的注意力机制，以验证其与欺骗检测的相关性。

提出的方法

• 系统使用经过均值归一化的对数梅尔倒谱系数（log-spectrogram）特征，基于 3 秒滑动窗口处理，扩展为统一的 257×1091 时间-频率映射，以保留语音段级别的表征。
• 空洞残差网络（DRN）用空洞卷积和改进的残差单元替代全连接层，以捕捉长程依赖关系并提升特征学习能力。
• 基于注意力的过滤机制在分类前对输入谱图中的特定时间与频率分量应用可学习的注意力权重，以增强或抑制特定区域。
• 注意力机制采用不同的非线性激活函数（Sigmoid、SoftmaxT、SoftmaxF、Tanh）实现，每种函数产生不同的注意力模式，促进互补的特征学习。
• 多个采用不同激活函数的 AFN 系统通过融合，结合其互补的注意力图，提升整体检测性能。
• 最终分类器采用多个注意力增强表示的得分级融合，以提升检测准确率。

实验结果

研究问题

• RQ1 基于注意力的过滤机制能否有效识别并增强用于重放攻击检测的时域与频域判别性特征？
• RQ2 注意力机制中不同非线性激活函数如何影响模型检测欺骗线索的能力？
• RQ3 所提出的注意力过滤网络在小样本、类别不平衡数据集上对未见数据的泛化能力如何？
• RQ4 融合多个具有不同激活模式的注意力机制，是否能相比单一模型实现更优的检测性能？

主要发现

• 所提出的注意力过滤网络在 ASVspoof 2017 Version 2.0 数据集上实现了 8.99% 的评估等错误率（EER），表明其在基准测试中表现强劲。
• 采用 Sigmoid 激活函数的单一最佳系统实现了最低的 EER（8.99%），优于其他激活函数。
• 通过融合采用 Sigmoid 和 SoftmaxT 激活函数的 AFN 系统，评估集上的 EER 降低至 8.54%，相比增强基线系统实现了 30% 的相对性能提升。
• 注意力热力图显示，Sigmoid 在时间和频率维度上产生密集激活，而 Softmax 变体则强制实现稀疏性，表明其具有不同的但互补的特征选择行为。
• 开发集与评估集 EER 之间的微小差异（例如，最佳融合系统为 6.09 vs. 8.54）表明，尽管数据集较小且类别不平衡，模型仍具备强大的泛化能力与低过拟合风险。
• 基于 ELU 激活函数的 DRN 分类器实现 10.16% 的 EER，而引入注意力机制后 EER 进一部降低，证实了特征增强的有效性。