[论文解读] Defense for Black-box Attacks on Anti-spoofing Models by Self-Supervised Learning

Haibin Wu, Andy T. Liu+1 more|arXiv (Cornell University)|Jun 5, 2020

Speech Recognition and Synthesis参考文献 36被引用 10

一句话总结

本文提出一种被动防御方法，通过利用 Mockingjay（一种预训练语音模型）的自监督表征，提升反欺骗模型在黑盒对抗攻击下的鲁棒性。该方法通过提取鲁棒的高层特征，有效降低噪声与信号比，从而破坏对抗迁移性，在 ASVspoof 2019 基准测试中优于手工滤波器和随机模型。

ABSTRACT

High-performance anti-spoofing models for automatic speaker verification (ASV), have been widely used to protect ASV by identifying and filtering spoofing audio that is deliberately generated by text-to-speech, voice conversion, audio replay, etc. However, it has been shown that high-performance anti-spoofing models are vulnerable to adversarial attacks. Adversarial attacks, that are indistinguishable from original data but result in the incorrect predictions, are dangerous for anti-spoofing models and not in dispute we should detect them at any cost. To explore this issue, we proposed to employ Mockingjay, a self-supervised learning based model, to protect anti-spoofing models against adversarial attacks in the black-box scenario. Self-supervised learning models are effective in improving downstream task performance like phone classification or ASR. However, their effect in defense for adversarial attacks has not been explored yet. In this work, we explore the robustness of self-supervised learned high-level representations by using them in the defense against adversarial attacks. A layerwise noise to signal ratio (LNSR) is proposed to quantize and measure the effectiveness of deep models in countering adversarial noise. Experimental results on the ASVspoof 2019 dataset demonstrate that high-level representations extracted by Mockingjay can prevent the transferability of adversarial examples, and successfully counter black-box attacks.

研究动机与目标

• 解决高性能反欺骗模型在自动说话人验证（ASV）中对黑盒对抗攻击的脆弱性。
• 探究自监督表征是否可在无需对抗微调的情况下，作为鲁棒防御机制。
• 评估预训练自监督模型在不同攻击场景下缓解对抗噪声的有效性。
• 通过一种新型逐层噪声-信号比（LNSR）度量，量化深度表征的降噪能力。

提出的方法

• 利用 Mockingjay（一种在 LibriSpeech 上预训练的自监督语音表征模型）从对抗输入中提取高层特征。
• 通过将预训练的 Mockingjay 与现有反欺骗模型（LCNN 和 SENet）级联，作为被动防御机制。
• 采用 FGSM 和 PGD 作为攻击算法，并设置不同的 $\epsilon$ 值（0.1 至 16），在黑盒设置下生成对抗样本。
• 引入逐层噪声-信号比（LNSR）以度量对抗扰动在模型各层中的减少程度。
• 将该防御方法与手工滤波器（中值、均值、高斯）及随机权重 Mockingjay 变体进行对比。
• 从零开始训练级联模型，以分离预训练对性能的贡献，排除模型架构或规模的影响。

实验结果

研究问题

• RQ1 基于预训练模型（如 Mockingjay）的自监督表征是否能有效防御反欺骗模型免受黑盒对抗攻击？
• RQ2 与随机初始化相比，自监督模型的预训练如何影响其抑制对抗噪声的能力？
• RQ3 自监督特征在多大程度上降低了对抗噪声？该效果可通过逐层噪声-信号比（LNSR）度量来衡量。
• RQ4 在高幅值对抗扰动（$\epsilon \geq 8$）下，该防御方法与传统手工滤波器相比表现如何？
• RQ5 当攻击模型与目标模型架构不匹配时，该防御机制是否仍有效？

主要发现

• 所提出的基于 Mockingjay 的防御方法（红色曲线）在 ASVspoof 2019 数据集的所有攻击设置和 $\epsilon$ 值下，始终优于所有其他方法，包括手工滤波器和随机权重模型。
• 预训练的 Mockingjay 显著降低了逐层噪声-信号比（LNSR），尤其在深层网络中，表明其具备有效的对抗噪声抑制能力。
• 随机权重 Mockingjay 变体防御能力有限，且在高 $\epsilon$ 值下失效，证明预训练对鲁棒性至关重要。
• 从零开始训练级联模型仅获得接近随机的性能，证实防御成功的关键在于预训练，而非模型规模或架构。
• 该防御机制成功阻断了对抗迁移性，无论攻击强度如何，均保持了高反欺骗准确率。
• LNSR 度量有效量化了对抗噪声在网络中逐层减少的渐进过程，验证了模型的滤波行为。