[论文解读] Adversarial Attacks on Speech Recognition Systems for Mission-Critical Applications: A Survey

Ngoc Dung Huynh, Mohamed Reda Bouadjenek+5 more|arXiv (Cornell University)|Feb 22, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本综述调查了在关键任务应用中语音识别系统面临的对抗性攻击，分析了FGSM等攻击方法及基于优化的技术，并评估了对抗性训练和检测等防御措施。研究识别出实际应用中的关键挑战，包括空中传播攻击和多输入特征脆弱性，并为构建鲁棒系统提供了可操作的防御建议。

ABSTRACT

A Machine-Critical Application is a system that is fundamentally necessary to the success of specific and sensitive operations such as search and recovery, rescue, military, and emergency management actions. Recent advances in Machine Learning, Natural Language Processing, voice recognition, and speech processing technologies have naturally allowed the development and deployment of speech-based conversational interfaces to interact with various machine-critical applications. While these conversational interfaces have allowed users to give voice commands to carry out strategic and critical activities, their robustness to adversarial attacks remains uncertain and unclear. Indeed, Adversarial Artificial Intelligence (AI) which refers to a set of techniques that attempt to fool machine learning models with deceptive data, is a growing threat in the AI and machine learning research community, in particular for machine-critical applications. The most common reason of adversarial attacks is to cause a malfunction in a machine learning model. An adversarial attack might entail presenting a model with inaccurate or fabricated samples as it's training data, or introducing maliciously designed data to deceive an already trained model. While focusing on speech recognition for machine-critical applications, in this paper, we first review existing speech recognition techniques, then, we investigate the effectiveness of adversarial attacks and defenses against these systems, before outlining research challenges, defense recommendations, and future work. This paper is expected to serve researchers and practitioners as a reference to help them in understanding the challenges, position themselves and, ultimately, help them to improve existing models of speech recognition for mission-critical applications. Keywords: Mission-Critical Applications, Adversarial AI, Speech Recognition Systems.

研究动机与目标

• 分析语音识别系统在关键任务应用中对对抗性攻击的脆弱性。
• 评估现有对抗性攻击技术（如FGSM和基于优化的方法）在语音识别模型上的有效性。
• 调查当前的防御策略，包括反应式和主动式防御，并评估其局限性。
• 识别开放的研究挑战，如空中传播攻击和模型间的可迁移性。
• 为提升实际关键任务部署中系统的鲁棒性，提供可操作的改进建议。

提出的方法

• 系统性地回顾了语音识别技术，包括HMM和端到端深度学习模型（如CTC和基于注意力的网络）。
• 调查了对抗性攻击方法，包括用于生成扰动的FGSM以及Carlini和Wagner提出的基于优化的方法。
• 评估了不同输入表示形式（如原始波形、频谱图和梅尔频率倒谱系数MFCC）上的攻击效果，以评估特征特定的脆弱性。
• 使用声学房间模拟器和真实世界传播模型，分析了空中传播攻击的可行性。
• 回顾了防御机制，包括对抗性训练、网络验证和基于GAN的去噪。
• 将防御措施分类为反应式（基于检测）和主动式（基于增强鲁棒性）两类，并评估其优缺点。

实验结果

研究问题

• RQ1 现有对抗性攻击方法（如FGSM和基于优化的攻击）在关键任务场景下的语音识别系统中效果如何？
• RQ2 对抗性样本在不同语音识别模型之间可迁移的程度如何，特别是在真实世界空中传播条件下？
• RQ3 不同输入表示形式（如波形、频谱图、MFCC）如何影响对抗性攻击的成功率？
• RQ4 当前防御策略的关键局限性是什么，特别是在应对白盒攻击和低失真对抗样本方面？
• RQ5 在现实世界系统约束下，如何实现物理上可实现的空中传播对抗性样本，这仍是开放挑战吗？

主要发现

• 对抗性攻击会显著降低语音识别性能，即使微小的扰动也会导致误分类，例如在患者被注入噪声后错误报告‘一切安好’的场景中已得到证实。
• 空中传播对抗性攻击仍是主要挑战，因为大多数先前方法依赖理想化条件（如安静背景），限制了其在真实世界中的适用性。
• 对抗性样本在不同模型间的可迁移性已被观察到，但并非总是成立，尤其是在架构差异较大的模型之间，表明需要更深入的理论理解。
• 对抗性训练和基于GAN的去噪等防御措施显示出潜力，但对白盒或低失真攻击往往无效。
• 反应式防御（如网络验证和集成检测）虽有效，但对可迁移性和扰动特性敏感。
• 针对非波形特征（如频谱图、MFCC）的定向攻击仍研究不足，表明在理解特征特定脆弱性方面存在空白。