[论文解读] Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification

Xu Li, Na Li+6 more|arXiv (Cornell University)|Jun 11, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 12

一句话总结

该论文提出了一种独立的类似VGG的检测网络，用于在自动说话人验证（ASV）系统中识别对抗性样本，避免对主ASV系统进行微调。该检测器在已知攻击类型上表现优异（EER$_{\text{det}}$ < 0.55%），但在未知扰动方法上表现出较弱的鲁棒性（EER$_{\text{det}}$ 最高恶化至50.37%），凸显了未来对抗防御方法开发中的关键漏洞。

ABSTRACT

Recently adversarial attacks on automatic speaker verification (ASV) systems attracted widespread attention as they pose severe threats to ASV systems. However, methods to defend against such attacks are limited. Existing approaches mainly focus on retraining ASV systems with adversarial data augmentation. Also, countermeasure robustness against different attack settings are insufficiently investigated. Orthogonal to prior approaches, this work proposes to defend ASV systems against adversarial attacks with a separate detection network, rather than augmenting adversarial data into ASV training. A VGG-like binary classification detector is introduced and demonstrated to be effective on detecting adversarial samples. To investigate detector robustness in a realistic defense scenario where unseen attack settings may exist, we analyze various kinds of unseen attack settings' impact and observe that the detector is robust (6.27\% EER_{det} degradation in the worst case) against unseen substitute ASV systems, but it has weak robustness (50.37\% EER_{det} degradation in the worst case) against unseen perturbation methods. The weak robustness against unseen perturbation methods shows a direction for developing stronger countermeasures.

研究动机与目标

• 开发一种针对自动说话人验证（ASV）系统对抗攻击的防御机制，避免对主ASV模型进行微调。
• 研究在训练期间未知攻击设置（如替代ASV系统、扰动方法）下的检测器鲁棒性，模拟真实场景。
• 识别当前检测方法中的漏洞，特别是对未知扰动方法的鲁棒性不足。
• 通过将对抗性样本检测与现有伪造检测流程集成，为统一的反欺骗对策提供基础。

提出的方法

• 训练一个类似VGG的二分类网络，基于声学特征区分真实与对抗性语音样本。
• 使用两种主流方法生成对抗性样本：基本迭代法（BIM）和基于Hessian的显著图攻击（JSMA），并调整不同的扰动幅度。
• 检测器在三种代表性ASV框架生成的对抗性样本上进行训练：i-vector（GMM）、x-vector（TDNN）和r-vector（ResNet-34）。
• 通过检测准确率（DA）和等错误率（EER$_{\text{det}}$）在域内与域外攻击设置下评估检测器性能。
• 在未知替代ASV系统和未知扰动方法下测试鲁棒性，并通过可视化对抗性分数分布进行分析。
• 在BIM与JSMA样本组合上进行训练，以评估对多样化扰动模式的泛化能力。

实验结果

研究问题

• RQ1 独立检测网络在不微调主ASV模型的前提下，识别ASV系统中对抗性样本的有效性如何？
• RQ2 该检测器对用于生成对抗性样本的未知替代ASV系统的鲁棒性如何？
• RQ3 当面对如BIM和JSMA等未知扰动方法时，检测器性能会如何退化？
• RQ4 检测器在不同扰动方法间的泛化能力是否对称？
• RQ5 在训练中结合多种扰动方法是否能提升对未知攻击模式的鲁棒性？

主要发现

• 检测器在来自BIM和JSMA生成的域内对抗性样本上实现了超过99%的检测准确率和0.18%至0.55%的低EER$_{\text{det}}$。
• 检测器对未知替代ASV系统表现出强鲁棒性，当在r-vector上训练并在i-vector上评估时，最坏情况下EER$_{\text{det}}$恶化仅为6.27%。
• 检测器对未知扰动方法表现出显著较弱的鲁棒性，当从BIM转移到JSMA时，EER$_{\text{det}}$恶化高达50.37%。
• 泛化能力呈现非对称性：从JSMA转移到BIM仅导致10.15%的EER$_{\text{det}}$恶化，而从BIM转移到JSMA则导致50.55%的EER$_{\text{det}}$恶化，表明对某些未知方法高度脆弱。
• 在BIM与JSMA组合样本上进行训练可提升泛化能力，在未知方法上实现0.92%的EER$_{\text{det}}$，表明多样化训练数据可增强鲁棒性。
• 对抗性分数分布的可视化结果表明，即使性能下降，检测器仍能有效为不同ASV系统中的对抗性样本分配高分。