[论文解读] Maximum Resilience of Artificial Neural Networks

Chih‐Hong Cheng, Georg Nührenberg+1 more|arXiv (Cornell University)|Apr 28, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用 6

一句话总结

本文提出了一种基于混合整数规划（MIP）的新方法，用于计算人工神经网络（ANN）的经验证最大扰动边界，从而实现对输入噪声或对抗性攻击下鲁棒性的形式化量化。通过利用定制化的MIP编码启发式方法与并行化分支定界算法，该方法相较于原始MIP编码实现了高达两个数量级的加速，并在MNIST和机器人控制基准测试中展现出良好的可扩展性。

ABSTRACT

The deployment of Artificial Neural Networks (ANNs) in safety-critical applications poses a number of new verification and certification challenges. In particular, for ANN-enabled self-driving vehicles it is important to establish properties about the resilience of ANNs to noisy or even maliciously manipulated sensory input. We are addressing these challenges by defining resilience properties of ANN-based classifiers as the maximal amount of input or sensor perturbation which is still tolerated. This problem of computing maximal perturbation bounds for ANNs is then reduced to solving mixed integer optimization problems (MIP). A number of MIP encoding heuristics are developed for drastically reducing MIP-solver runtimes, and using parallelization of MIP-solvers results in an almost linear speed-up in the number (up to a certain limit) of computing cores in our experiments. We demonstrate the effectiveness and scalability of our approach by means of computing maximal resilience bounds for a number of ANN benchmark sets ranging from typical image recognition scenarios to the autonomous maneuvering of robots.

研究动机与目标

• 为解决安全关键型AI系统中，特别是基于ANN感知的自动驾驶汽车，验证鲁棒性的关键挑战。
• 形式化量化在导致误分类前，ANN可容忍的最大输入扰动，确保对噪声或对抗性输入的鲁棒性。
• 开发一种可扩展且高效的验证框架，通过优化方法计算多类ANN的精确、经验证边界。
• 在传感器系统与神经网络分类器之间提供形式化的假设-保证接口，实现传感器设计与网络设计的解耦。
• 支持基于模型对输入扰动鲁棒性的客观比较，促进模型选择与改进。

提出的方法

• 通过使用大M线性化方法对非线性激活函数（如ReLU、最大池化）进行编码，将计算最大鲁棒性的过程转化为混合整数规划（MIP）问题。
• 采用数据流分析计算最小的大M值，显著缩小MIP求解器的搜索空间，从而提升性能。
• 应用启发式策略，如求解多个简化的MIP子问题，以加速可行解的发现。
• 在多个CPU核心上并行执行分支定界，实现高达一定核心阈值时的近线性加速。
• 基于softmax输出置信度定义鲁棒性度量，要求网络在扰动下仍保持分类顺序。
• 将最大扰动边界Φₘ计算为一个优化问题的解，该问题在保持类别主导性的同时最大化输入偏差。

实验结果

研究问题

• RQ1 如何形式化且定量地测量训练好的ANN对输入扰动（包括对抗性噪声）的最大鲁棒性？
• RQ2 哪些MIP编码策略能显著减少验证ANN鲁棒性所需求解器的运行时间？
• RQ3 分支定界算法的并行化在多大程度上能提升大规模或复杂ANN验证任务的可扩展性？
• RQ4 原始分类的置信度水平α如何影响最大可容忍扰动边界？
• RQ5 计算出的扰动边界能否作为安全关键系统中传感器系统设计与神经网络设计解耦的形式化接口？

主要发现

• 所提出的带有定制启发式方法的MIP编码相较于标准MIP编码，实现了约两个数量级的加速。
• 在最多32个核心上并行化分支定界，对大多数基准实例实现了近线性加速，但对某些问题类型，性能在32个核心以上趋于平缓。
• 在MNIST基准测试中，当ε=0.01时，使用12个线程可在1秒内完成最大鲁棒性Φₘ的计算，展现出在标准图像分类任务中的高效率。
• 对于复杂的机器人控制网络（如DeepTraffic），在360个核心上，Φₘ的计算时间在15分钟以内，表明其在真实应用中的可扩展性。
• 提高置信度阈值α会按预期产生更高的计算扰动边界Φₘ，当α超过网络可达到的最大置信度时，会出现不可行情况。
• 该方法成功计算出导致误分类的最小扰动输入，可用于增强训练数据，从而提升泛化能力。