[论文解读] Symbolic Execution for Deep Neural Networks

Divya Gopinath, Kaiyuan Wang+3 more|arXiv (Cornell University)|Jul 27, 2018

Adversarial Robustness in Machine Learning参考文献 30被引用 45

一句话总结

DeepCheck 将基于 ReLU 的神经网络转换为命令式代码，并使用轻量级符号执行来识别重要像素并在 MNIST 上生成 1- 像素和 2- 像素对抗攻击。

ABSTRACT

Deep Neural Networks (DNN) are increasingly used in a variety of applications, many of them with substantial safety and security concerns. This paper introduces DeepCheck, a new approach for validating DNNs based on core ideas from program analysis, specifically from symbolic execution. The idea is to translate a DNN into an imperative program, thereby enabling program analysis to assist with DNN validation. A basic translation however creates programs that are very complex to analyze. DeepCheck introduces novel techniques for lightweight symbolic analysis of DNNs and applies them in the context of image classification to address two challenging problems in DNN analysis: 1) identification of important pixels (for attribution and adversarial generation); and 2) creation of 1-pixel and 2-pixel attacks. Experimental results using the MNIST data-set show that DeepCheck's lightweight symbolic analysis provides a valuable tool for DNN validation.

研究动机与目标

• 在安全关键应用中推动对深度神经网络的安全性与可靠性验证。
• 应对由于决策过程不透明和高维输入带来的验证挑战。
• 提出一个基于符号执行的实用框架（DeepCheck）用于 DNN 分析。
• 通过识别重要像素实现归因，并生成最小化的对抗攻击（1 像素和 2 像素）来实现归因。

提出的方法

• 将前馈 ReLU 网络转换为反映其行为的命令式程序。
• 应用符号/混合符号执行来遍历路径并累积路径条件。
• 为输入计算路径条件线性表达式以识别像素重要性。
• 使用三个重要性度量（abs、co、coi）按对预测标签的影响对输入像素进行排序。
• 通过约束子集像素并使用 SMT 求解器（如 Z3）求解路径条件来合成对抗输入。
• 在 MNIST 上评估该方法，以演示重要像素归因以及 1-/2-pixel 攻击。

实验结果

研究问题

• RQ1 符号执行是否能够识别出解释 DNN 决策的关键输入像素？
• RQ2 符号执行是否能够发现可靠的 1 像素和 2 像素图像对抗攻击？
• RQ3 重要像素与可被攻击的像素之间有何关系，基于 coi 的优先级排序是否能改善攻击发现？

主要发现

• 符号执行可以识别解释分类器在 MNIST 图像上决策的关键像素。
• 通过定位前面若干重要像素中的可攻击像素，在若干数字上发现了 1 像素攻击。
• 通过聚焦于最重要像素，能够发现 2 像素攻击，且可包含不能通过 1 像素攻击实现的像素。
• coi 度量常在前 5–10% 的像素中捕捉到可攻击像素，从而实现高效的攻击发现。
• 在 10 个数字中有 9 个通过检查前 4 个重要像素中的组合找到 2 像素攻击（不超过 6 对）。