[论文解读] Concolic Testing for Deep Neural Networks

Youcheng Sun, Min Wu+4 more|arXiv (Cornell University)|Apr 30, 2018

Adversarial Robustness in Machine Learning被引用 33

一句话总结

本文提出了首个用于深度神经网络（DNNs）的混合符号执行测试框架，结合具体执行与符号分析，系统性地生成测试输入，以最大化覆盖结构属性与鲁棒性属性。该方法在神经元激活、Lipschitz连续性以及对抗性样本方面均实现了高覆盖率，相较于随机测试在发现最小扰动对抗性输入方面表现出更优性能。

ABSTRACT

Concolic testing combines program execution and symbolic analysis to explore the execution paths of a software program. This paper presents the first concolic testing approach for Deep Neural Networks (DNNs). More specifically, we formalise coverage criteria for DNNs that have been studied in the literature, and then develop a coherent method for performing concolic testing to increase test coverage. Our experimental results show the effectiveness of the concolic testing approach in both achieving high coverage and finding adversarial examples.

研究动机与目标

• 为安全关键与安全敏感的应用中深度神经网络（DNNs）缺乏系统性测试方法的问题提供解决方案。
• 克服仅使用随机测试或符号执行在探索高维DNN输入空间时的局限性。
• 开发一种混合符号执行测试方法，将具体执行与符号分析相结合，以引导测试生成向未满足的覆盖标准推进。
• 在多种覆盖标准上评估该方法，包括神经元覆盖、Lipschitz连续性以及对抗性样本检测。
• 证明混合符号执行在发现最小扰动对抗性样本并实现高覆盖率方面的有效性。

提出的方法

• 该方法使用在有理数上的量化线性算术（QLAR）表达的参数化覆盖需求集合。
• 在具体执行与符号分析之间交替进行：具体执行用于识别接近满足给定覆盖需求的测试输入，符号分析则用于生成满足该需求的新输入。
• 对于每个未满足的需求，算法从当前测试套件中选择一个最接近满足该需求的测试输入，然后使用符号执行将其精炼为满足该需求的输入。
• 该过程持续迭代，直到达到期望的覆盖阈值，测试输入逐步添加至测试套件中。
• 通过应用鲁棒性检测器来检测对抗性样本，即检查是否存在微小输入扰动导致分类输出发生变化。
• 该框架在DeepConcolic工具中实现，支持多种距离度量（如L∞、L0、L1、L2）用于对抗性样本检测。

实验结果

研究问题

• RQ1 混合符号执行能否有效适配于深度神经网络，以提升测试覆盖率？
• RQ2 与随机测试生成相比，混合符号执行在发现最小扰动对抗性样本方面表现如何？
• RQ3 混合符号执行在多种覆盖标准（包括Lipschitz连续性与神经元激活模式）上能实现多高的覆盖率？
• RQ4 该方法能否检测出对不同距离度量（如L∞与L0）均具有鲁棒性的对抗性样本？
• RQ5 混合符号执行是否为测试DNNs提供了一种可扩展且一致的方法，以覆盖多种结构与鲁棒性属性？

主要发现

• DeepConcolic在多个标准上实现了高覆盖率，包括神经元覆盖率（NC），在MNIST上达到99.9%，在CIFAR-10上达到99.8%。
• 该方法成功发现最小扰动的对抗性样本：L∞范数下为1/255 ≈ 0.0039，L0范数下为1个像素，表明其在对抗性样本检测中具有高精度。
• 在Lipschitz常数测试中，混合符号执行覆盖了[0.01, 10.38]的范围，显著优于随机测试，后者最高仅达3.23，且集中于[0.01, 2]区间。
• 平均而言，混合符号执行发现的对抗性样本的L∞距离为0.0039，证明其能够有效定位最小扰动攻击。
• 发现的对抗性样本数量在不同距离度量下差异显著，凸显了在覆盖标准中使用多种度量的重要性。
• 该方法在MNIST与CIFAR-10模型上均表现出优异的对抗性样本检测性能，鲁棒性检查证实了其高检测有效性。