[论文解读] A Comprehensive Evaluation Framework for Deep Model Robustness

Jun Guo, Bao, Wei+8 more|arXiv (Cornell University)|Jan 24, 2021

Adversarial Robustness in Machine Learning参考文献 64被引用 5

一句话总结

本文提出了一套全面的23项指标评估框架，用于深度模型鲁棒性评估，整合了数据导向（如神经元覆盖率、数据不可感知性）和模型导向（如决策边界分析、结构度量）的视角。该框架揭示了尽管许多防御方法在准确率上表现良好，但在严格的指标下表现却较差。作者发布了开源平台，支持多语言、可扩展地在多种攻击类型和真实场景中进行评估。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable performance across a wide range of applications, while they are vulnerable to adversarial examples, which motivates the evaluation and benchmark of model robustness. However, current evaluations usually use simple metrics to study the performance of defenses, which are far from understanding the limitation and weaknesses of these defense methods. Thus, most proposed defenses are quickly shown to be attacked successfully, which results in the ``arm race'' phenomenon between attack and defense. To mitigate this problem, we establish a model robustness evaluation framework containing 23 comprehensive and rigorous metrics, which consider two key perspectives of adversarial learning (i.e., data and model). Through neuron coverage and data imperceptibility, we use data-oriented metrics to measure the integrity of test examples; by delving into model structure and behavior, we exploit model-oriented metrics to further evaluate robustness in the adversarial setting. To fully demonstrate the effectiveness of our framework, we conduct large-scale experiments on multiple datasets including CIFAR-10, SVHN, and ImageNet using different models and defenses with our open-source platform. Overall, our paper provides a comprehensive evaluation framework, where researchers could conduct comprehensive and fast evaluations using the open-source toolkit, and the analytical results could inspire deeper understanding and further improvement to the model robustness.

研究动机与目标

• 通过提供严谨、多维的评估框架，应对对抗性攻击与防御之间的‘军备竞赛’。
• 克服当前评估方法仅依赖攻击成功率和准确率等简单指标的局限性。
• 通过分析模型结构和在多样化扰动下的行为，实现对防御弱点的深入理解。
• 通过在多种真实场景和攻击类型中评估鲁棒性，支持鲁棒模型的实际部署。
• 通过开源、可扩展的平台，支持用户自定义算法和模型的持续集成，推动未来研究。

提出的方法

• 设计23项评估指标，分为数据导向（如神经元覆盖率、数据不可感知性）和模型导向（如对抗鲁棒性、决策边界稳定性）两类。
• 利用神经元覆盖率和数据不可感知性评估测试输入激活模型内部表征的彻底程度。
• 通过分析模型结构（如逐层激活模式）和行为（如噪声下的预测一致性）来衡量鲁棒性。
• 实现一个基于PyTorch的开源平台，采用模块化设计，包含攻击、防御、评估、预测和数据库模块。
• 通过Docker标准化的输入/输出接口支持语言无关的模型，并支持自定义攻击、防御和度量的集成。
• 支持静态与动态分析、竞赛托管以及场景特定评估（如自动驾驶、自动结账）。

实验结果

研究问题

• RQ1 当前防御方法在超越标准准确率和攻击成功率的全面鲁棒性指标集下表现如何？
• RQ2 如神经元覆盖率和数据不可感知性等数据导向指标在多大程度上反映了模型的真实鲁棒性？
• RQ3 如决策边界稳定性与结构敏感性等模型导向指标如何揭示现有防御的弱点？
• RQ4 不同类型的攻击（如ℓ₂、ℓ∞、噪声污染）对防御鲁棒性评估有何影响？
• RQ5 统一且可扩展的评估平台能否提升对抗鲁棒性研究中的可重现性与基准测试？

主要发现

• 许多在ℓ∞攻击下表现出高对抗准确率的防御方法，在神经元覆盖率和决策边界稳定性等更严格指标下表现不佳。
• 防御方法在不同攻击类型下的表现不一致，表明仅基于ℓ∞的评估不足以全面评估鲁棒性。
• 所提出的框架揭示，某些防御方法即使对ℓ∞扰动具有鲁棒性，仍对噪声污染攻击和ℓ₂对抗样本存在漏洞。
• 模型导向指标如CAV、CRR和EBD比单纯准确率能提供更深入的模型行为与结构脆弱性洞察。
• 开源平台支持15种对抗攻击、19种噪声污染攻击、10种防御方法和23项评估指标，支持可扩展的鲁棒性基准测试。
• 该框架支持白盒与黑盒攻击评估，表明多视角评估对于可靠鲁棒性评估至关重要。