[论文解读] Abstraction based Output Range Analysis for Neural Networks

Pavithra Prabhakar, Zahra Rahimi Afzal|arXiv (Cornell University)|Jul 18, 2020

Neural Networks and Applications被引用 22

一句话总结

本文提出了一种新颖的抽象技术，通过构建参数数量更少、权重为区间的区间神经网络（INN），降低了基于ReLU的前馈神经网络输出范围分析的计算复杂度。该方法对原始网络的输出范围进行过度近似，并将问题转化为混合整数线性规划（MILP），在计算时间与精度之间实现了权衡，且在ACAS Xu基准测试中应用抽象后观察到显著的加速效果。

ABSTRACT

In this paper, we consider the problem of output range analysis for feed-forward neural networks with ReLU activation functions. The existing approaches reduce the output range analysis problem to satisfiability and optimization solving, which are NP-hard problems, and whose computational complexity increases with the number of neurons in the network. To tackle the computational complexity, we present a novel abstraction technique that constructs a simpler neural network with fewer neurons, albeit with interval weights called interval neural network (INN), which over-approximates the output range of the given neural network. We reduce the output range analysis on the INNs to solving a mixed integer linear programming problem. Our experimental results highlight the trade-off between the computation time and the precision of the computed output range.

研究动机与目标

• 解决具有ReLU激活函数的深度神经网络输出范围分析的高计算复杂度问题。
• 开发一种可靠的抽象技术，对输出范围进行过度近似，同时减少神经元数量。
• 通过使用区间权重简化网络结构，实现对神经网络控制系统的高效验证。
• 展示输出范围估计中计算时间与精度之间的权衡关系。
• 为将抽象技术与现有验证工具（如MILP求解器和Reluplex）集成提供基础。

提出的方法

• 通过合并每一层中的神经元来构建区间神经网络（INN），使用由凸包缩放后得到的区间权重（缩放因子为合并节点的数量）。
• 通过证明抽象网络对原始网络输出范围的过度近似，确保抽象的正确性。
• 利用先前工作的扩展编码方式，将INN上的输出范围计算问题转化为混合整数线性规划（MILP）问题。
• 使用商业MILP求解器（如Gurobi）计算抽象网络输出范围的上下界。
• 采用随机划分策略，为相同数量的抽象节点生成多个抽象版本，以评估精度的变异性。
• 在不同抽象级别下测量并比较抽象时间、编码时间与MILP求解时间。

实验结果

研究问题

• RQ1 将深度神经网络抽象为区间神经网络（INN）是否能显著降低输出范围分析的计算成本？
• RQ2 所提出的抽象技术是否保持了正确性，确保INN对原始网络输出范围的过度近似？
• RQ3 输出范围估计的精度如何随抽象节点数量和划分策略的不同而变化？
• RQ4 抽象时间、编码时间与MILP求解时间对总计算成本的相对贡献如何？
• RQ5 该抽象技术能否作为预处理步骤，使现有的基于MILP或可满足性验证的方法能够扩展到更大规模的网络？

主要发现

• Gurobi的MILP求解时间是整体计算流程中的主要开销，当抽象节点数量超过某一阈值后，其增长极为显著。
• 在未使用抽象的情况下，Gurobi无法在完整的ACAS Xu基准测试上返回结果，表明抽象对可扩展性至关重要。
• 抽象时间与编码时间随抽象节点数量的增加而渐进式增长，而MILP求解时间则急剧上升，表明抽象在缓解瓶颈方面最为有效。
• 随着抽象节点数量的增加，输出范围的上界显著降低，表明精度提高；但即使在相同抽象节点数下，不同划分策略导致的上界差异最大可达2倍。
• 该方法在计算时间与输出范围精度之间实现了有利的权衡，应用抽象后观察到显著的加速效果。
• 输出范围的精度对神经元的具体划分方式高度敏感，提示未来工作应聚焦于优化划分策略。