[论文解读] Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples

Maura Pintor, Luca Demetrio+5 more|arXiv (Cornell University)|Jun 18, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出了六种新型的攻击失败指标（IoAF），用于自动检测和调试基于梯度的对抗攻击优化中的常见故障，例如梯度混淆和未完全收敛。通过系统性地应用这些指标，作者识别并修复了先前在图像、音频和恶意软件领域共15个模型的攻击实现中未被发现的缺陷，从而提高了对抗鲁棒性评估的可靠性。

ABSTRACT

Evaluating robustness of machine-learning models to adversarial examples is a challenging problem. Many defenses have been shown to provide a false sense of robustness by causing gradient-based attacks to fail, and they have been broken under more rigorous evaluations. Although guidelines and best practices have been suggested to improve current adversarial robustness evaluations, the lack of automatic testing and debugging tools makes it difficult to apply these recommendations in a systematic manner. In this work, we overcome these limitations by: (i) categorizing attack failures based on how they affect the optimization of gradient-based attacks, while also unveiling two novel failures affecting many popular attack implementations and past evaluations; (ii) proposing six novel indicators of failure, to automatically detect the presence of such failures in the attack optimization process; and (iii) suggesting a systematic protocol to apply the corresponding fixes. Our extensive experimental analysis, involving more than 15 models in 3 distinct application domains, shows that our indicators of failure can be used to debug and improve current adversarial robustness evaluations, thereby providing a first concrete step towards automatizing and systematizing them. Our open-source code is available at: https://github.com/pralab/IndicatorsOfAttackFailure.

研究动机与目标

• 解决由于机器学习模型中攻击评估存在缺陷而导致的对抗鲁棒性被高估的长期问题。
• 识别导致错误鲁棒性评估的基于梯度的攻击优化中的常见故障。
• 开发自动化的、系统性的指标，以在对抗评估过程中检测此类故障。
• 提出一种协议，用于修复已识别的故障，提升鲁棒性评估的可靠性。
• 通过检测攻击实现中的细微缺陷，实现可复现且可信的防御评估。

提出的方法

• 定义六种定量的攻击失败指标（IoAF），用于检测基于梯度攻击中的特定优化问题。
• 将IoAF形式化为分析梯度、损失稳定性、预测一致性以及攻击优化过程中对抗成功性的度量指标。
• 将IoAF实现为伪代码和开源工具，以便集成到评估工作流中。
• 应用这些指标检测诸如梯度混淆、静默成功和优化不完全等故障。
• 设计一种系统性、半自动化的协议，利用IoAF值诊断并修复攻击故障。
• 在三个领域（图像、音频、恶意软件）的15个模型上，通过真实世界的防御评估验证该方法。

实验结果

研究问题

• RQ1 在基于梯度的对抗攻击优化中，存在哪些此前未被发现的常见故障，导致了鲁棒性被高估？
• RQ2 这些故障如何通过攻击优化过程中的定量指标实现系统性检测？
• RQ3 流行库（如Foolbox、Cleverhans）中存在缺陷的攻击实现在多大程度上导致了误导性的鲁棒性评估？
• RQ4 所提出的IoAF指标和协议能否提升真实世界防御的对抗鲁棒性评估的可靠性？
• RQ5 IoAF指标如何帮助识别并修复攻击流水线中的梯度混淆和未完全收敛等问题？

主要发现

• 作者识别出两种新型攻击故障——静默成功和无约束攻击故障——这些在流行攻击库中此前未被发现。
• IoAF指标成功检测到13个先前评估的防御中存在梯度混淆和优化不完全的问题，这些防御被发现存在高估现象。
• 通过使用所提出的协议和IoAF指标重新评估，发现最近发表的7项防御因攻击执行存在缺陷而导致鲁棒性被显著高估。
• 该方法通过在攻击优化过程中检测不稳定预测和损失不稳定性等故障，提升了鲁棒性评估的可靠性。
• IoAF的开源实现支持可复现性，并可集成到标准评估工作流中，减少了对抗测试中的人工错误。
• 基于IoAF值的系统性协议使从业者能够自动检测并修复攻击实现中的缺陷，从而增强了防御评估的可信度。