[论文解读] Adversarial defense for automatic speaker verification by cascaded self-supervised learning models

Haibin Wu, Xu Li+4 more|arXiv (Cornell University)|Feb 14, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用 9

一句话总结

本文提出一种级联自监督学习防御方法，利用预训练的TERA模型净化自动语音验证（ASV）系统中的对抗性扰动。通过在ASV系统上游部署多个TERA模型，该方法有效缓解了白盒和黑盒对抗性攻击，同时保持对真实输入的性能，优于手工设计的滤波器和需要攻击特定知识的防御方法。

ABSTRACT

Automatic speaker verification (ASV) is one of the core technologies in biometric identification. With the ubiquitous usage of ASV systems in safety-critical applications, more and more malicious attackers attempt to launch adversarial attacks at ASV systems. In the midst of the arms race between attack and defense in ASV, how to effectively improve the robustness of ASV against adversarial attacks remains an open question. We note that the self-supervised learning models possess the ability to mitigate superficial perturbations in the input after pretraining. Hence, with the goal of effective defense in ASV against adversarial attacks, we propose a standard and attack-agnostic method based on cascaded self-supervised learning models to purify the adversarial perturbations. Experimental results demonstrate that the proposed method achieves effective defense performance and can successfully counter adversarial attacks in scenarios where attackers may either be aware or unaware of the self-supervised learning models.

研究动机与目标

• 解决日益增长的安全关键型自动语音验证（ASV）系统所面临的对抗性攻击威胁。
• 开发一种对攻击者是否知晓防御机制均有效的防御方法，避免对特定攻击模式的过拟合。
• 在不修改现有ASV模型内部架构的前提下提升ASV系统的鲁棒性。
• 探索使用自监督模型作为深度、攻击无关的滤波器以去除对抗性噪声的可行性。
• 在攻击者无意识和有意识两种场景下评估防御效果，包括迁移性和白盒攻击抵抗能力。

提出的方法

• 该防御方法采用级联的TERA（基于扰动的转换器编码表示）模型作为上游特征提取器，在对抗性输入进入ASV系统前进行净化。
• TERA模型在去噪自编码任务上进行预训练，使其能够从噪声或扰动输入中重建出干净语音，包括对抗性扰动。
• 该方法作为即插即用的滤波器：多个TERA模型串联排列，逐步去除对抗性噪声，形成级联净化流水线。
• 该防御方法为攻击无关型，无需了解攻击的具体参数或生成策略。
• 该方法在两种场景下进行评估：攻击者不了解TERA（黑盒）和攻击者了解TERA（白盒），对抗样本通过BIM方法生成，ε=0.3。
• 性能通过真实输入和对抗性输入的等错误率（EER）进行衡量，并与手工设计的滤波器（高斯、中值、均值）进行比较。

实验结果

研究问题

• RQ1 在黑盒设置下，级联的TERA模型能否有效降低ASV系统对抗性攻击的成功率？
• RQ2 当攻击者知晓TERA模型并能生成针对性攻击时，该防御方法表现如何？
• RQ3 该级联TERA防御是否能保持ASV在真实、未扰动语音输入上的性能？
• RQ4 在对抗性输入和干净输入场景下，该级联TERA防御与传统手工滤波器（如高斯、中值）相比表现如何？
• RQ5 增加级联中TERA模型的数量是否能进一步提升对白盒攻击的防御鲁棒性？

主要发现

• 级联TERA防御将对抗性输入的EER从无防御时的66.02%降低至22.94%，显著削弱了攻击的有效性。
• 即使攻击者知晓TERA模型并利用其生成对抗样本，增加级联中的TERA模型数量仍可将EER从无TERA时的54.55%降低至三个TERA模型时的40.69%。
• 基于TERA的防御优于手工滤波器：在对抗性输入上EER更低（22.94% vs. 29.44–31.60%），在真实输入上性能保持更好（17.32% vs. 27.06–30.30%）。
• 该方法在黑盒和白盒攻击场景下均保持鲁棒性，表明即使攻击者完全了解防御机制，该方法依然有效。
• 真实输入上的性能退化（EER从8.87%上升至17.32%）远低于手工滤波器，表明TERA模型具有更好的重建保真度。
• 该防御计算开销较大，尤其在白盒设置下，但级联设计为应对自适应攻击者提供了可扩展的防御策略。