[论文解读] A critique of the DeepSec Platform for Security Analysis of Deep Learning Models

Nicholas Carlini|arXiv (Cornell University)|May 17, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用 7

一句话总结

本文对 DeepSec 平台在对抗鲁棒性评估中的表现进行了批判性评估，揭示了其在实验设计、实现和分析方面的根本性缺陷。研究证明，由于攻击/防御实现错误、统计方法不当以及评估协议无效，DeepSec 的结果具有误导性，导致其结论无法可靠用于评估深度学习模型的对抗鲁棒性。

ABSTRACT

At IEEE S&P 2019, the paper "DeepSec: A Uniform Platform for Security Analysis of Deep Learning Model" aims to to "systematically evaluate the existing adversarial attack and defense methods." While the paper's goals are laudable, it fails to achieve them and presents results that are fundamentally flawed and misleading. We explain the flaws in the DeepSec work, along with how its analysis fails to meaningfully evaluate the various attacks and defenses. Specifically, DeepSec (1) evaluates each defense obliviously, using attacks crafted against undefended models; (2) evaluates attacks and defenses using incorrect implementations that greatly under-estimate their effectiveness; (3) evaluates the robustness of each defense as an average, not based on the most effective attack against that defense; (4) performs several statistical analyses incorrectly and fails to report variance; and, (5) as a result of these errors draws invalid conclusions and makes sweeping generalizations.

研究动机与目标

• 识别并揭露 DeepSec 平台在评估对抗攻击与防御方法时的根本性方法论缺陷。
• 证明 DeepSec 的实验设计导致其关于深度学习模型鲁棒性的结论具有误导性和无效性。
• 突出实现错误、统计分析缺陷以及威胁模型处理不当等问题，这些均严重损害了 DeepSec 报告结果的可信度。
• 提醒研究社区避免依赖 DeepSec 的研究结果进行对抗鲁棒性的比较研究。

提出的方法

• 对 DeepSec 中评估的所有攻击与防御方法进行了独立的代码重实现，以验证其正确性。
• 将 DeepSec 的实现与 CleverHans 中已建立的开源实现进行对比，识别出差异。
• 对攻击成功率进行统计分析，量化方差并评估报告结果的显著性。
• 评估错误超参数、损失函数和模型架构对 PGD 对抗训练性能的影响。
• 分析在不同威胁模型之间平均鲁棒性以及错误的失真边界对结果有效性的影响。
• 识别并记录 DeepSec 报告的攻击成功率与先前工作及正确实现之间的不一致之处。

实验结果

研究问题

• RQ1 DeepSec 中的攻击与防御实现在多大程度上准确反映了先前工作中原始方法及其报告结果？
• RQ2 DeepSec 中攻击与防御的错误实现如何影响其报告的鲁棒性度量的有效性？
• RQ3 为何在对抗鲁棒性评估中使用平均鲁棒性而非最坏情况鲁棒性本质上是错误的？
• RQ4 PGD 对抗训练中错误的超参数、模型架构和损失函数如何影响防御方法的评估？
• RQ5 在未尊重原始范围或失真边界的情况下，跨多个威胁模型评估防御措施会产生什么影响？

主要发现

• DeepSec 报告在 MNIST 上使用 ℓ∞=0.3 时 FGSM 攻击的成功率为 30.4%，但正确重实现后达到 66%，表明其对攻击有效性的严重低估。
• DeepSec 报告 JSMA 攻击的成功率为 76%，但官方 CleverHans 实现可达到 95%，暴露出严重的实现缺陷。
• DeepSec 报告在 CIFAR-10 上使用 ℓ∞=0.2 时 PGD 攻击的成功率为 82.4%，与先前工作报告的 100% 成功率相矛盾，表明其存在实现缺陷。
• DeepSec 的 PGD 对抗训练实现使用了错误的损失函数、更小的模型容量，并且仅训练 20 个周期而非 83 个，导致对其性能的结论错误。
• 该平台在 ℓ∞、ℓ0 和 ℓ2 威胁模型之间计算平均鲁棒性，产生了一个无意义的度量，无法反映真实世界攻击行为。
• DeepSec 对防御方法的评估无效，因为它应用了未针对每种防御方法的威胁模型进行优化的攻击，并且仅对部分样本进行评估，导致比较在统计上毫无意义。