[论文解读] Adversarial Robustness Toolbox v1.0.0

Maria-Irina Nicolae, Mathieu Sinn+10 more|arXiv (Cornell University)|Jul 3, 2018

Adversarial Robustness in Machine Learning被引用 15

一句话总结

Adversarial Robustness Toolbox (ART) v1.0.0 是一个全面的 Python 库，使研究人员和开发者能够防御机器学习模型（如深度神经网络、树集成模型和传统机器学习模型）免受对抗性攻击。它为 TensorFlow、PyTorch、Scikit-learn 等框架提供标准化接口，支持对抗性训练、输入预处理、运行时检测以及通过 CLEVER 和基于团的验证等指标进行鲁棒性评估。

ABSTRACT

Adversarial Robustness Toolbox (ART) is a Python library supporting developers and researchers in defending Machine Learning models (Deep Neural Networks, Gradient Boosted Decision Trees, Support Vector Machines, Random Forests, Logistic Regression, Gaussian Processes, Decision Trees, Scikit-learn Pipelines, etc.) against adversarial threats and helps making AI systems more secure and trustworthy. Machine Learning models are vulnerable to adversarial examples, which are inputs (images, texts, tabular data, etc.) deliberately modified to produce a desired response by the Machine Learning model. ART provides the tools to build and deploy defences and test them with adversarial attacks. Defending Machine Learning models involves certifying and verifying model robustness and model hardening with approaches such as pre-processing inputs, augmenting training data with adversarial samples, and leveraging runtime detection methods to flag any inputs that might have been modified by an adversary. The attacks implemented in ART allow creating adversarial attacks against Machine Learning models which is required to test defenses with state-of-the-art threat models. Supported Machine Learning Libraries include TensorFlow (v1 and v2), Keras, PyTorch, MXNet, Scikit-learn, XGBoost, LightGBM, CatBoost, and GPy. The source code of ART is released with MIT license at https://github.com/IBM/adversarial-robustness-toolbox. The release includes code examples, notebooks with tutorials and documentation (http://adversarial-robustness-toolbox.readthedocs.io).

研究动机与目标

• 为跨多种模型类型和深度学习框架的机器学习模型防御对抗性威胁，提供统一且开源的框架。
• 通过标准化的攻击、防御和度量方法，实现对抗性鲁棒性的系统性评估。
• 通过提供模块化、可组合的防御机制和运行时检测方法，支持研究和生产环境的部署。
• 通过语义版本控制和标准化接口，确保一致且可复现的结果，以促进基准测试。
• 通过集成 CLEVER 和基于团的方法等鲁棒性验证技术，提升模型的可信度，特别是针对决策树集成模型。

提出的方法

• ART 提供模块化架构，包含分类器、攻击、防御、检测器和度量的基类，支持组件的即插即用式集成。
• 支持多种对抗性攻击，如 FGSM、PGD、Carlini & Wagner 和边界攻击，利用基于梯度和基于优化的方法生成对抗性样本。
• 防御方法包括对抗性训练、特征压缩、标签平滑、空间和 JPEG 预处理，以及通过热力编码实现的随机化平滑。
• 通过基于输入和激活统计的二值检测器（包括快速广义子集扫描）实现运行时逃逸检测。
• 通过激活聚类实现投毒防御，以在训练过程中检测后门攻击。
• 鲁棒性度量包括 CLEVER（估计基于利普希茨常数的鲁棒性）、损失敏感度，以及针对决策树集成模型的基于团的验证。

实验结果

研究问题

• RQ1 如何设计一个统一且可扩展的框架，以支持在多种机器学习模型和深度学习框架中进行对抗性攻击与防御？
• RQ2 哪些最有效且可组合的防御策略能够提升模型对逃逸攻击和投毒攻击的鲁棒性？
• RQ3 在不进行完整模型微调或无需访问梯度的情况下，如何定量测量和验证模型的鲁棒性？
• RQ4 运行时检测机制在不损害推理性能的前提下，能在多大程度上实现实时识别对抗性输入？
• RQ5 如何将鲁棒性验证应用于不可微分模型（如决策树和集成模型）？

主要发现

• ART 实现了在 TensorFlow、PyTorch、Keras、Scikit-learn、XGBoost 和 LightGBM 等多个框架中对抗性防御的一致性基准测试。
• CLEVER 度量通过近似模型输出对输入扰动的利普希茨常数，提供了对抗性鲁棒性的可靠估计。
• 对抗性训练结合数据增强和输入预处理（如 JPEG 压缩、空间平滑）可显著提升模型对 PGD 和 Carlini & Wagner 攻击的鲁棒性。
• 基于激活的二值检测器在运行时检测中可高精度识别对抗性输入，尤其在结合输入级预处理时效果更佳。
• 针对决策树集成模型的基于团的方法可通过分析集成预测结构，识别最小对抗性扰动，实现形式化鲁棒性验证。
• 该库的模块化设计支持可组合的防御流水线，例如将对抗性训练与随机化平滑及输入预处理相结合，从而整体提升鲁棒性。