[论文解读] Detecting Adversarial Attacks On Audiovisual Speech Recognition

Pingchuan Ma, Stavros Petridis+1 more|arXiv (Cornell University)|Dec 18, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用 7

一句话总结

本文提出了一种新颖且高效的音频视觉语音识别系统对抗攻击检测方法，通过利用对抗样本中音频与视频流之间时间相关性降低的特性。通过将音频视觉同步置信度作为相关性的代理，该方法在GRID和LRW数据集上对孤立词与连续语音识别任务均实现了高检测准确率——AUC最高达0.90，F1分数超过0.75。

ABSTRACT

Adversarial attacks pose a threat to deep learning models. However, research on adversarial detection methods, especially in the multi-modal domain, is very limited. In this work, we propose an efficient and straightforward detection method based on the temporal correlation between audio and video streams. The main idea is that the correlation between audio and video in adversarial examples will be lower than benign examples due to added adversarial noise. We use the synchronisation confidence score as a proxy for audiovisual correlation and based on it we can detect adversarial attacks. To the best of our knowledge, this is the first work on detection of adversarial attacks on audiovisual speech recognition models. We apply recent adversarial attacks on two audiovisual speech recognition models trained on the GRID and LRW datasets. The experimental results demonstrate that the proposed approach is an effective way for detecting such attacks.

研究动机与目标

• 解决多模态音频视觉语音识别领域中对抗检测方法缺乏的问题。
• 探究对抗噪声是否破坏语音数据中自然的音频视觉相关性。
• 开发一种轻量级、非侵入式的检测机制，无需模型微调。
• 在孤立词与连续语音识别任务中，评估该方法对不同类型攻击及不同扰动水平的有效性。

提出的方法

• 使用音频视觉同步置信度分数作为音频与视频流之间时间相关性的代理。
• 利用预训练的同步网络估计良性样本与对抗样本的置信度分数。
• 通过比较良性样本与对抗样本的同步置信度分布来检测异常。
• 应用两种攻击类型：快速梯度符号法（FGSM）和基于迭代优化的攻击（如BIM）于音频与视频流。
• 采用失真度量（L²、L∞）和转录错误率（WER）评估攻击成功率与可检测性。
• 使用AUC和F1分数作为评估指标，衡量在不同扰动阈值下的检测性能。

实验结果

研究问题

• RQ1 音频视觉同步置信度能否有效区分音频视觉语音识别中的对抗样本与良性样本？
• RQ2 该检测方法在不同类型的对抗攻击（如FGSM与迭代攻击）下的表现如何变化？
• RQ3 在音频与视频流中不同扰动水平下，该检测方法是否仍保持有效性？
• RQ4 该方法在孤立词与连续语音识别任务中的表现如何？
• RQ5 该方法是否无需模型微调或梯度访问即可检测对抗样本？

主要发现

• 所提方法在连续语音识别模型的完全目标对抗攻击检测中，AUC最高达0.90，F1分数超过0.75。
• 在部分目标攻击中，AUC范围为0.74至0.84，F1范围为0.68至0.75，具体取决于不同扰动水平。
• 在完全目标攻击中，当εᴬ = 1024且εᵛ = 8时，成功率最高（77%），对应AUC为0.90，F1为0.82。
• 即使在低扰动水平下（如εᵛ = 4），该方法仍保持强劲的检测性能，AUC达0.87，F1为0.78。
• 该方法在连续语音中多样句子的对抗样本检测中表现成功，检测AUC与F1分数始终高于0.70。
• 对抗样本的同步置信度分数显著低于良性样本，证实了核心假设。