[论文解读] A Formalization of Robustness for Deep Neural Networks

Tommaso Dreossi, Shromona Ghosh+2 more|arXiv (Cornell University)|Mar 24, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 16

一句话总结

本文提出了一种使用形式化方法的统一形式化框架，用于定义深度神经网络的鲁棒性，将对抗性输入生成建模为包含系统、环境和规范组件的验证问题。该框架通过统一的建模方式，使不同攻击技术能够被系统性地比较，其核心在于通过距离和行为谓词捕捉对抗性目标、扰动约束以及目标行为。

ABSTRACT

Deep neural networks have been shown to lack robustness to small input perturbations. The process of generating the perturbations that expose the lack of robustness of neural networks is known as adversarial input generation. This process depends on the goals and capabilities of the adversary, In this paper, we propose a unifying formalization of the adversarial input generation process from a formal methods perspective. We provide a definition of robustness that is general enough to capture different formulations. The expressiveness of our formalization is shown by modeling and comparing a variety of adversarial attack techniques.

研究动机与目标

• 为解决不同对抗性攻击技术在定义深度神经网络鲁棒性方面缺乏共识的问题。
• 将对抗性输入生成形式化为一个具有明确系统、环境和规范组件分离的验证问题。
• 提供一个通用且可扩展的框架，以捕捉多样化的鲁棒性定义，包括白盒、黑盒以及语义级攻击。
• 通过统一其底层原理，弥合形式化方法与基于优化的对抗机器学习方法之间的鸿沟。
• 通过统一的形式化语言，实现对现有对抗性攻击方法的系统性比较与分析。

提出的方法

• 将鲁棒性形式化为一个决策问题，包含三个约束：扰动输入的可接受性、与原始输入的距离（通过度量 μ 表示）、以及目标行为的变化（通过谓词 A 表示）。
• 定义两种优化变体：最小化扰动（例如 ℓp 范数）和最大化损失（例如误分类置信度），两者均受上述三个约束限制。
• 使用通用规范 φ 表示系统级正确性，使鲁棒性评估不仅限于模型预测，还可涵盖更高级别的系统行为。
• 将对抗性攻击建模为一个形式化验证任务 S∥E⊨φ，其中 S 为 DNN，E 为攻击者，φ 为鲁棒性规范。
• 将该框架应用于建模多种攻击类型，包括 ℓp-范数有界扰动、语义变换（如遮挡、亮度变化）以及分布鲁棒性。
• 引入抽象空间建模（例如通过渲染器 R 和系统模型 M），以推理语义鲁棒性，使攻击可作用于场景表示而非原始像素。

实验结果

研究问题

• RQ1 如何以一种形式化方式定义深度神经网络的鲁棒性，从而统一多样化的对抗性攻击技术？
• RQ2 对抗性输入生成的核心组件是什么，可被抽象为一个通用的形式化验证框架？
• RQ3 如何在一个统一的形式化规范中捕捉不同的对抗性目标，如误分类、定向攻击或覆盖率最大化？
• RQ4 语义和结构扰动（如遮挡、旋转）如何能以与标准 ℓp-范数攻击相同的语义形式化表示？
• RQ5 通过 M 和 φ 建模系统级鲁棒性与模型级鲁棒性有何不同，其优势何在？

主要发现

• 所提出的统一形式化框架能够涵盖 14 种不同的对抗性攻击技术，包括 Szegedy 等人（2013）的、Goodfellow（2014）的、Carlini 与 Wagner（2017）的，以及 DeepXplore（Pei 等人，2017）的攻击。
• 该框架通过在抽象世界空间 S 中操作，实现了语义鲁棒性的建模，其中扰动通过语义相似度 μ 衡量，而非像素级距离。
• 通过将逐点扰动替换为对变换 T 的期望距离约束，该框架能够捕捉基于分布鲁棒性的对抗性样本（例如 Athalye 等人，2018b）。
• 该框架同时支持局部鲁棒性（针对单个输入）和系统级鲁棒性（通过 M 和 φ），从而可验证端到端系统行为。
• 在 DeepXplore 中使用神经元覆盖率（fₙ(x)）作为目标行为约束，被形式化为在输入约束下最大化 fₙ(x*)，表明其与通用框架的一致性。
• 该形式化使得攻击技术的系统性比较成为可能，通过隔离其核心对抗性目标、约束条件以及规范语义。