[论文解读] Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition

Krishan Rajaratnam, Kunal Shah+1 more|arXiv (Cornell University)|Sep 11, 2018

Digital Media Forensic Detection被引用 19

一句话总结

本文提出了一种孤立和集成的音频预处理技术，用于检测自动语音识别系统中的对抗性样本。通过结合压缩、语音编码、滤波和音频偏移技术，该方法在针对语音命令模型的对抗性输入检测中实现了93.5%的精确率和91.2%的召回率，展示了对遗传攻击的鲁棒防御能力。

ABSTRACT

An adversarial attack is an exploitative process in which minute alterations are made to natural inputs, causing the inputs to be misclassified by neural models. In the field of speech recognition, this has become an issue of increasing significance. Although adversarial attacks were originally introduced in computer vision, they have since infiltrated the realm of speech recognition. In 2017, a genetic attack was shown to be quite potent against the Speech Commands Model. Limited-vocabulary speech classifiers, such as the Speech Commands Model, are used in a variety of applications, particularly in telephony; as such, adversarial examples produced by this attack pose as a major security threat. This paper explores various methods of detecting these adversarial examples with combinations of audio preprocessing. One particular combined defense incorporating compressions, speech coding, filtering, and audio panning was shown to be quite effective against the attack on the Speech Commands Model, detecting audio adversarial examples with 93.5% precision and 91.2% recall.

研究动机与目标

• 为应对自动语音识别系统中日益增长的对抗性攻击威胁，特别是针对有限词汇量模型（如语音命令模型）的攻击。
• 探究音频预处理技术是否可作为对抗性样本的有效检测机制。
• 评估孤立和集成的预处理方法组合在提升检测鲁棒性方面的效果。
• 开发一种计算效率高且与实时语音识别流水线兼容的防御策略。

提出的方法

• 作者对输入音频信号应用孤立的预处理技术，包括音频压缩、语音编码（例如AMR）、带通滤波和立体声偏移。
• 评估每种独立方法在检测通过遗传攻击针对语音命令模型生成的对抗性样本时的有效性。
• 集成方法将多种预处理技术——压缩、语音编码、滤波和偏移——整合到单一检测流水线中。
• 检测系统基于预处理后模型置信度分数的变化，将输入分类为良性或对抗性。
• 该方法依赖于一个原则：对抗性扰动对信号变换敏感，而自然语音则保持鲁棒性。
• 最终的检测模型基于预处理后模型输出置信度采用基于阈值的决策规则。

实验结果

研究问题

• RQ1 孤立的音频预处理技术能否有效检测自动语音识别系统中的对抗性样本？
• RQ2 各独立预处理方法在检测对抗性输入方面的性能表现如何比较？
• RQ3 通过集成方法组合多种预处理技术是否能提升检测准确率，相比孤立方法？
• RQ4 对抗性样本在经历常见音频信号变换后，其有效性在多大程度上仍保持？
• RQ5 所提出的方法能否在保持自然语音识别准确率的同时维持高水平的检测性能？

主要发现

• 结合压缩、语音编码、滤波和音频偏移的集成方法在检测对抗性样本时实现了93.5%的精确率和91.2%的召回率。
• 各独立预处理技术的检测效果存在差异，其中语音编码和滤波表现出较强的检测能力。
• 集成方法优于孤立方法，表明多种信号变换组合具有协同增益效应。
• 该方法在多种通过遗传攻击生成的对抗性样本上均保持了高水平的检测性能。
• 该防御机制保持了自然语音的识别准确率，表明对合法输入的影响极小。