[论文解读] Inaudible Adversarial Perturbations for Targeted Attack in Speaker Recognition

Qing Wang, Pengcheng Guo+1 more|arXiv (Cornell University)|May 21, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用 12

一句话总结

本文提出了一种针对基于x-vector的说话人识别系统的定向白盒对抗攻击，利用心理声学频域掩蔽生成人耳无法察觉的扰动。通过将扰动限制在人类听觉掩蔽阈值以下，而非使用标准的lp-范数约束，该方法在保持对听者完全不可察觉的同时，实现了高达98.5%的攻击成功率，即使在音乐等非语音音频上应用也依然有效。

ABSTRACT

Speaker recognition is a popular topic in biometric authentication and many deep learning approaches have achieved extraordinary performances. However, it has been shown in both image and speech applications that deep neural networks are vulnerable to adversarial examples. In this study, we aim to exploit this weakness to perform targeted adversarial attacks against the x-vector based speaker recognition system. We propose to generate inaudible adversarial perturbations achieving targeted white-box attacks to speaker recognition system based on the psychoacoustic principle of frequency masking. Specifically, we constrict the perturbation under the masking threshold of original audio, instead of using a common l_p norm to measure the perturbations. Experiments on Aishell-1 corpus show that our approach yields up to 98.5% attack success rate to arbitrary gender speaker targets, while retaining indistinguishable attribute to listeners. Furthermore, we also achieve an effective speaker attack when applying the proposed approach to a completely irrelevant waveform, such as music.

研究动机与目标

• 开发一种针对基于x-vector的说话人识别系统的定向对抗攻击方法，确保对人类听者完全不可察觉。
• 通过利用心理声学原理，克服基于lp-范数的扰动的局限性，以实现更优的不可察觉性。
• 评估基于频域掩蔽的扰动在语音和非语音波形（如音乐）上的有效性。
• 对比基于频域掩蔽的扰动与传统基于lp-范数的方法在感知质量和攻击性能上的差异。
• 证明在无关音频输入（如音乐）上，使用不可察觉扰动实现高成功率定向攻击的可行性。

提出的方法

• 在x-vector说话人识别模型上，使用定向白盒攻击框架生成对抗扰动。
• 应用心理声学频域掩蔽技术，将扰动限制在原始音频信号的掩蔽阈值以下，以确保不可察觉性。
• 通过基于梯度的优化方法优化扰动，以最小化与目标说话人标签相关的交叉熵损失。
• 利用原始音频的谱包络推导出的掩蔽阈值定义扰动边界，替代传统的lp-范数约束。
• 使用客观指标（PESQ、SNR）和主观ABX偏好测试评估扰动的感知相似性。
• 将攻击扩展至非语音输入（如MUSAN语料库中的音乐），以测试方法的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 基于频域掩蔽的扰动是否能在定向说话人识别攻击中实现高于基于lp-范数方法的攻击成功率？
• RQ2 尽管能量可能更高，基于频域掩蔽的对抗扰动是否比基于lp-范数的扰动更具感知上的不可察觉性？
• RQ3 当应用于非语音音频（如音乐）时，不可察觉的对抗扰动是否能有效攻击说话人识别系统？
• RQ4 在主观听音测试中，基于频域掩蔽的扰动与基于lp-范数的扰动相比，其感知质量如何？
• RQ5 该方法在不同说话人目标组合（如M2M’、F2F’等）下，于不同测试模式中的表现如何？

主要发现

• 所提出的基于频域掩蔽的方法在Aishell-1语料库的所有测试模式下，最高攻击成功率达到98.5%，显著优于基于lp-范数的基线方法。
• 在主观ABX偏好测试中，68.67%的听者更偏好基于频域掩蔽的对抗样本，表明其具有更优的不可察觉性。
• 尽管绝对能量更大，基于频域掩蔽的扰动仍被判断为与原始语音更相似，证实其感知透明性更优。
• 当应用于MUSAN语料库中的音乐波形时，该方法实现了91.5%的攻击成功率，证明其在完全无关的非语音输入上也有效。
• 客观指标显示，基于lp-范数的扰动在PESQ和SNR上略优，但主观测试结果证实，基于频域掩蔽的扰动在实际中更具不可察觉性。
• 在所有性别目标组合（M2M’、M2F’、F2M’、F2F’）中，攻击成功率均保持稳定，第二阶段攻击的准确率在93.8%至98.5%之间。