[论文解读] Formal Verification of CNN-based Perception Systems

Panagiotis Kouvaros, Alessio Lomuscio|arXiv (Cornell University)|Nov 28, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用 22

一句话总结

本文提出一种基于混合整数线性规划（MILP）的正式验证方法，用于卷积神经网络（CNN）感知系统，以评估其在仿射和光度图像变换下的局部变换鲁棒性。该方法具有完备性，能自动识别鲁棒性失效情况，揭示标准MNIST CNN在微小变换下表现脆弱，经使用经验证变换进行对抗性微调后，准确率从19%提升至26%。

ABSTRACT

We address the problem of verifying neural-based perception systems implemented by convolutional neural networks. We define a notion of local robustness based on affine and photometric transformations. We show the notion cannot be captured by previously employed notions of robustness. The method proposed is based on reachability analysis for feed-forward neural networks and relies on MILP encodings of both the CNNs and transformations under question. We present an implementation and discuss the experimental results obtained for a CNN trained from the MNIST data set.

研究动机与目标

• 为解决安全关键型自主系统中学习型感知组件缺乏正式验证方法的问题。
• 提出一种新的鲁棒性概念——局部变换鲁棒性，针对现实部署中相关的几何与光度图像变化。
• 开发一种完备且自动化的CNN分类器验证方法，可在指定变换下检测所有鲁棒性失效。
• 通过正式验证与对抗性微调，实现对CNN鲁棒性的系统性评估与改进。
• 将正式验证技术从像素级扰动扩展至结构化图像变换，提升保证的相关性与紧致性。

提出的方法

• 该方法将鲁棒性验证问题建模为前馈神经网络的可达性分析任务。
• 将CNN架构与变换约束编码为混合整数线性规划（MILP）问题。
• MILP公式可实现完备验证：若在某种变换下存在误分类，必能被保证发现。
• 该方法支持多种变换，包括平移、缩放、旋转、亮度与对比度变化。
• 框架已实现为名为VENUS的工具，可生成用于微调的变换图像以提升鲁棒性。
• 该方法应用于在MNIST上训练的CNN，验证与微调流程实现完全自动化。

实验结果

研究问题

• RQ1 能否在结构化图像变换下，对基于CNN的感知系统实现具有完备性保证的正式验证？
• RQ2 局部变换鲁棒性与基于像素级扰动定义的传统局部鲁棒性有何异同？其优势何在？
• RQ3 标准CNN（如在MNIST上训练的模型）对现实世界中的图像变换（如平移与对比度变化）具有多大程度的鲁棒性？
• RQ4 经验证的变换数据能否用于通过对抗性微调提升CNN的鲁棒性？
• RQ5 基于MILP的验证方法的可扩展性如何受网络规模与变换复杂度的影响？

主要发现

• 在MNIST上训练的CNN被发现不具备局部变换鲁棒性，即使在微小平移、缩放与下采样下也出现误分类。
• 该模型在亮度与对比度变化下同样表现出脆弱性，表明其对光度变化的鲁棒性极差。
• 验证结果显示，网络在变换后的MNIST图像上的准确率在微调前降至19%。
• 在使用VENUS工具生成的超过10,000张变换图像扩充训练集后，网络准确率提升至26%。
• 基于MILP的方法成功识别出所有指定变换下的鲁棒性失效，证实了其完备性。
• 由于MILP编码的复杂度随网络规模增加而上升，该方法性能随网络增大而下降，凸显了可扩展性改进的必要性。