[论文解读] Did you hear that? Adversarial Examples Against Automatic Speech Recognition

Moustafa Alzantot, Bharathan Balaji+1 more|arXiv (Cornell University)|Jan 2, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用 197

一句话总结

论文展示一种黑盒、无梯度的遗传算法，用于生成针对语音指令识别模型的定向对抗音频，在实现87%成功率的同时添加极少、常难以察觉的噪音。人耳大体上无法区分扰动。

ABSTRACT

Speech is a common and effective way of communication between humans, and modern consumer devices such as smartphones and home hubs are equipped with deep learning based accurate automatic speech recognition to enable natural interaction between humans and machines. Recently, researchers have demonstrated powerful attacks against machine learning models that can fool them to produceincorrect results. However, nearly all previous research in adversarial attacks has focused on image recognition and object detection models. In this short paper, we present a first of its kind demonstration of adversarial attacks against speech classification model. Our algorithm performs targeted attacks with 87% success by adding small background noise without having to know the underlying model parameter and architecture. Our attack only changes the least significant bits of a subset of audio clip samples, and the noise does not change 89% the human listener's perception of the audio clip as evaluated in our human study.

研究动机与目标

• 在图像模型之外，激发并展示对 ASR 系统的对抗漏洞。
• 表明黑盒、无梯度的攻击可以针对语音识别中的特定输出。
• 通过用户研究量化对人类听众的对抗噪声的感知影响。
• 提供可复现的方法学和公开可用的实现，用于生成对抗音频。

提出的方法

• 使用遗传算法在不需要模型梯度或架构细节的情况下生成定向对抗音频。
• 仅扰动音频样本子集的最低有效位，以最小化感知影响。
• 适应度评估在黑盒模型下目标标签的概率，并指导选择、交叉和变异。
• 将攻击限制为 500 次迭代，在 Titan X GPU 上的中位生成时间为 37 秒。
• 在 Speech Commands 模型及数据集上评估，包含 500 条源片段和每条片段 9 个目标标签（共 4500 个对抗样本）。

实验结果

研究问题

• RQ1 黑盒、无梯度的攻击是否能让 ASR 大幅偏离到选定目标标签？
• RQ2 在实际的 ASR 模型上，定向对抗音频的成功率是多少？
• RQ3 对人类听众而言扰动有多明显，人类是否仍能识别出原始标签？
• RQ4 该方法是否能用公开代码和参数可复现？
• RQ5 在 ASR 中，无目标攻击在可行性和影响方面与定向攻击相比如何？

主要发现

以源标签标记的攻击	以目标标签标记的攻击	以其他标签标记的攻击	百分比
89%	0.6%	9.4%

• 定向攻击在源标签与目标标签之间的对比中有87% 的成功率。
• 仅对 16 位音频文件的一部分样本的最低有效位进行噪声添加。
• 人类研究（23 名参与者，1500 条片段）发现 89% 的情况下噪声不会把人类的标签从源标签改变。
• 在 Titan X GPU 上，生成对抗样本的中位时间为 37 秒。
• 不需要 MFCC 梯度；攻击在黑盒设定中演示，避免模型内部结构。
• 他们的讨论中未定主结果部分指出定向攻击的无目标攻击达到 100% 的成功率。