[论文解读] Adversarial Attacks on GMM i-vector based Speaker Verification Systems

Xu Li, Jinghua Zhong+4 more|arXiv (Cornell University)|Nov 8, 2019

Speech Recognition and Synthesis参考文献 28被引用 11

一句话总结

本文研究了基于高斯混合模型i-vector的说话人验证系统在使用快速梯度符号法（FGSM）进行对抗攻击时的脆弱性，表明精心构造的对抗样本会显著降低系统性能。此外，研究还表明这些对抗样本可迁移至x-vector系统，揭示了不同说话人验证架构间存在的关键安全风险。

ABSTRACT

This work investigates the vulnerability of Gaussian Mixture Model (GMM) i-vector based speaker verification systems to adversarial attacks, and the transferability of adversarial samples crafted from GMM i-vector based systems to x-vector based systems. In detail, we formulate the GMM i-vector system as a scoring function of enrollment and testing utterance pairs. Then we leverage the fast gradient sign method (FGSM) to optimize testing utterances for adversarial samples generation. These adversarial samples are used to attack both GMM i-vector and x-vector systems. We measure the system vulnerability by the degradation of equal error rate and false acceptance rate. Experiment results show that GMM i-vector systems are seriously vulnerable to adversarial attacks, and the crafted adversarial samples prove to be transferable and pose threats to neuralnetwork speaker embedding based systems (e.g. x-vector systems).

研究动机与目标

• 评估基于GMM i-vector的说话人验证系统对对抗攻击的脆弱性。
• 研究从GMM i-vector系统生成的对抗样本向x-vector系统迁移的特性。
• 评估使用FGSM对说话人验证系统进行白盒与黑盒攻击的有效性。
• 衡量对抗扰动对EER和FAR等关键性能指标的影响。
• 提供开源代码以支持说话人验证领域对抗鲁棒性的可复现性与未来研究。

提出的方法

• 将GMM i-vector系统形式化为注册语音与测试语音对的打分函数。
• 应用快速梯度符号法（FGSM）对测试语音优化对抗扰动。
• 在GMM i-vector与x-vector系统中均使用PLDA后端进行说话人相似性打分。
• 通过控制ε值对线性预测编码（LPC）和梅尔频率倒谱系数（MFCC）特征进行扰动，生成对抗样本。
• 采用ABX测试评估原始音频与对抗音频样本之间的感知相似性。
• 对GMM i-vector与x-vector系统实施白盒攻击（完全访问系统）与黑盒攻击（使用替代模型）。

实验结果

研究问题

• RQ1 基于GMM i-vector的说话人验证系统对对抗攻击有多脆弱？
• RQ2 从GMM i-vector系统生成的对抗样本能否成功攻击x-vector系统？
• RQ3 对抗攻击在不同攻击设置（如跨特征、跨模型）下的性能表现如何变化？
• RQ4 对抗样本在多大程度上与原始音频在人类听觉感知上无法区分？
• RQ5 增大扰动幅度（ε）是否总是能提升攻击效果？

主要发现

• 在ε = 1的白盒FGSM攻击下，GMM i-vector系统的误接受率（FAR）上升了90%，表明其具有高度脆弱性。
• ABX测试显示准确率为51.5%，证实人类听觉无法区分对抗样本与原始音频。
• 在黑盒攻击中，跨特征设置（LPMS-ivec → MFCC-ivec）下的FAR最高上升60%，表明具有强迁移性。
• 跨特征-模型攻击（LPMS-ivec → MFCC-xvec）的FAR上升30%，证实了从i-vector到x-vector系统的迁移性。
• 当ε超过最优值（如ε = 5, 10）时，攻击效果反而下降，因为过大的扰动会变成噪声，降低攻击有效性。
• 在高ε值下，EER值趋近于约50%，表明系统因类似噪声的扰动而丧失判别能力。