[论文解读] Characterizing Audio Adversarial Examples Using Temporal Dependency

Zhuolin Yang, Bo Li+2 more|arXiv (Cornell University)|Sep 28, 2018

Adversarial Robustness in Machine Learning参考文献 37被引用 86

一句话总结

本文表明输入变换对音频对抗样本的鲁棒性有限，而利用音频中的时序依赖可以有效区分对抗输入，包括对自适应攻击。

ABSTRACT

Recent studies have highlighted adversarial examples as a ubiquitous threat to different neural network models and many downstream applications. Nonetheless, as unique data properties have inspired distinct and powerful learning principles, this paper aims to explore their potentials towards mitigating adversarial inputs. In particular, our results reveal the importance of using the temporal dependency in audio data to gain discriminate power against adversarial examples. Tested on the automatic speech recognition (ASR) tasks and three recent audio adversarial attacks, we find that (i) input transformation developed from image adversarial defense provides limited robustness improvement and is subtle to advanced attacks; (ii) temporal dependency can be exploited to gain discriminative power against audio adversarial examples and is resistant to adaptive attacks considered in our experiments. Our results not only show promising means of improving the robustness of ASR systems, but also offer novel insights in exploiting domain-specific data properties to mitigate negative effects of adversarial examples.

研究动机与目标

• 研究将图像对抗防御的经验是否可迁移到音频领域。
• 评估音频输入变换对抗对抗样本的有效性。
• 提出并验证一种基于时序依赖的音频对抗样本检测方法。
• 评估所提方法对自适应攻击的鲁棒性。

提出的方法

• 评估简单的音频输入变换（量化、平滑、降采样、自编码器）并衡量对近期攻击的鲁棒性。
• 提出一个时序依赖（TD）方法，将ASR输出在前缀k上的结果与完整转录的前缀进行比较以检测不一致。
• 使用WER/CER和Longest Common Prefix (LCP)作为TD性能的度量标准。
• 在LibriSpeech 和 Mozilla Common Voice数据集上使用若干攻击方法（GA、Commander Song、Opt）测试TD。
• 在包括segment、concatenation和组合策略的强自适应攻击下评估TD。

实验结果

研究问题

• RQ1 图像对抗防御的经验是否可迁移到音频领域？
• RQ2 音频中的时序依赖是否有助于在ASR中区分对抗样本？
• RQ3 音频输入变换对自适应对手是否鲁棒？
• RQ4 基于TD的检测是否对非自适应和自适应音频攻击都有效？

主要发现

• 输入变换对音频对抗样本的鲁棒性有限，且可被自适应攻击绕过。
• 时序依赖能够有效区分在ASR任务中的对抗音频和正常音频，达到高AUC（例如使用WER的TD在Common Voice可达0.936，在LIBRIS可达0.93）。
• 即使攻击者知晓防御措施，在CER为基础的检测中，k取值如1/2和4/5等时，TD方法仍然有效。
• 基于自编码器的防御（类似MagNet）在音频上表现不佳，且可能降低正常音质。
• 针对输入变换的自适应攻击可实现高成功率，而基于TD的检测保持较强性能（AUC分数大约在0.93–0.97）。
• 对TD的连接式和分段自适应攻击往往失败，说明时序依赖作为防御的强大性。）