[论文解读] End-to-End Spectro-Temporal Graph Attention Networks for Speaker Verification Anti-Spoofing and Speech Deepfake Detection

Hemlata Tak, Jee-weon Jung+4 more|arXiv (Cornell University)|Jul 27, 2021

Speech Recognition and Synthesis参考文献 58被引用 8

一句话总结

该论文提出RawGAT-ST，一种完全端到端的频时图注意力网络，直接从原始音频中学习频带子带与时间片段之间的判别性关系，用于说话人验证反欺骗检测与语音深度伪造检测。通过频域与时域注意力的模型级融合以及一种新颖的图池化策略，该方法在ASVspoof 2019逻辑访问数据集上实现了1.06%的最先进等错误率（EER）。

ABSTRACT

Artefacts that serve to distinguish bona fide speech from spoofed or deepfake speech are known to reside in specific subbands and temporal segments. Various approaches can be used to capture and model such artefacts, however, none works well across a spectrum of diverse spoofing attacks. Reliable detection then often depends upon the fusion of multiple detection systems, each tuned to detect different forms of attack. In this paper we show that better performance can be achieved when the fusion is performed within the model itself and when the representation is learned automatically from raw waveform inputs. The principal contribution is a spectro-temporal graph attention network (GAT) which learns the relationship between cues spanning different sub-bands and temporal intervals. Using a model-level graph fusion of spectral (S) and temporal (T) sub-graphs and a graph pooling strategy to improve discrimination, the proposed RawGAT-ST model achieves an equal error rate of 1.06 % for the ASVspoof 2019 logical access database. This is one of the best results reported to date and is reproducible using an open source implementation.

研究动机与目标

• 为解决在说话人验证中检测多样化欺骗攻击的挑战，通过联合建模频域与时域中的判别性伪影。
• 克服先前模型依赖手工设计特征或晚期融合的局限性，实现从原始波形端到端学习。
• 通过在单一模型架构中融合频域与时域注意力机制，提升检测性能。
• 通过一种新颖的图池化策略增强判别能力，该策略在降低图维度的同时保留关键特征。
• 证明统一的端到端方法相较于分离的频域或时域模型在得分层面融合的优越性。

提出的方法

• 模型使用一维sinc卷积层直接提取原始波形表征，避免使用MFCC或频谱图等手工设计特征。
• 构建两个独立的子图：一个用于频域注意力（S），一个用于时域注意力（T），分别建模代表子带或时间片段的节点之间的关系。
• 频时图注意力网络（GAT-ST）在模型层面融合S与T子图，实现两个域中互补线索的联合学习。
• 图注意力机制计算节点对之间的可学习注意力权重，将特征聚合为低维表示，以提升判别能力。
• 提出一种新颖的图池化策略，通过选择最具信息量的特征来减少节点数量，增强模型鲁棒性与性能。
• 采用自注意力机制进行端到端训练，动态强调最具判别性的频域与时域区域。

Figure 1: The proposed RawGAT-ST model architecture. The top-left spectral attention block captures discriminative spectral information. The top-right temporal attention block captures discriminative temporal information. Fusion is performed at the model level (middle ellipse). The bottom block comp

实验结果

研究问题

• RQ1 是否一个统一的、端到端模型，能够联合建模频域与时域关系，在反欺骗检测中优于独立模型或晚期融合策略？
• RQ2 与使用手工设计的声学特征相比，直接从原始波形学习表征是否能提升检测性能？
• RQ3 在图神经网络架构中，模型级融合频域与时域注意力与得分级融合相比，在性能与泛化能力方面表现如何？
• RQ4 图池化在多大程度上通过聚焦最具信息量的频时特征来提升判别能力？
• RQ5 一个单一的轻量化模型是否能在不依赖复杂架构或外部特征工程的前提下，实现对多样化欺骗攻击的最先进性能？

主要发现

• RawGAT-ST在ASVspoof 2019逻辑访问数据集上实现了1.06%的等错误率（EER），为迄今报告的最佳结果之一。
• 消融实验表明，移除频域注意力会使EER上升至1.87%，表明其相较于仅使用时域注意力更为重要。
• 引入图池化后，EER从无池化时的2.47%降低至1.06%，证明其对性能提升具有显著贡献。
• 与之前采用晚期得分融合的版本（ResNet18-GAT-T）相比，RawGAT-ST在min-tDCF上提升63%，在EER上提升77%，凸显模型级融合的优势。
• 尽管参数量仅为0.44万个，RawGAT-ST仍优于大多数现有模型，包括那些采用更复杂架构与手工设计特征的模型。
• 该模型是仅有的两个直接在原始音频上运行的系统之一（另一个为Res-TSSDNet），证实了端到端学习在此任务中的优势。

Figure 2: An illustration of the proposed graph-based process including a graph attention layer and a graph pooling layer for an input graph with 4 nodes. $\textrm{h}_{n}\in\mathbb{R}^{d}$ represents the node representation $n\in N$ . The graph attention layer estimates attention weights $\alpha$ be