[论文解读] Fast Neural Network Verification via Shadow Prices

Vicenç Rúbies Royo, Roberto Calandra+2 more|arXiv (Cornell University)|Feb 19, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用 25

一句话总结

该论文提出了一种新颖的输入分割方法，利用影子价格（即优化问题中约束的敏感度度量）来指导分割，相较于基于梯度的方法更高效。该方法通过优先选择那些ReLU神经元可能始终处于激活或非激活状态的区域进行分割，从而减少分区数量和计算时间，在ACAS基准测试中实现了高达70%的节点减少和更快的验证速度。

ABSTRACT

To use neural networks in safety-critical settings it is paramount to provide assurances on their runtime operation. Recent work on ReLU networks has sought to verify whether inputs belonging to a bounded box can ever yield some undesirable output. Input-splitting procedures, a particular type of verification mechanism, do so by recursively partitioning the input set into smaller sets. The efficiency of these methods is largely determined by the number of splits the box must undergo before the property can be verified. In this work, we propose a new technique based on shadow prices that fully exploits the information of the problem yielding a more efficient generation of splits than the state-of-the-art. Results on the Airborne Collision Avoidance System (ACAS) benchmark verification tasks show a considerable reduction in the partitions generated which substantially reduces computation times. These results open the door to improved verification methods for a wide variety of machine learning applications including vision and control.

研究动机与目标

• 提升基于输入分割的神经网络验证在安全关键应用中的效率。
• 减少验证ReLU网络鲁棒性属性时的分区数量和计算成本。
• 开发一种分割策略，其在引导分割朝向高约束敏感度区域方面优于基于梯度的方法。
• 实现在航空和控制等实际应用中对深度神经网络的更快、更可扩展的验证。

提出的方法

• 该方法使用影子价格（即优化问题中的拉格朗日对偶变量）来量化ReLU激活约束对输入扰动的敏感度。
• 基于影子价格的大小制定分割准则，优先选择能减少输入区间内ReLU状态（激活/非激活）不确定性的分割。
• 该方法与分支定界验证框架集成，将基于梯度的分割选择替换为基于影子价格的分割选择。
• 通过凸松弛估计网络输出边界，并利用对偶性高效地优化分割决策。
• 算法根据对约束满足度的估计影响，动态选择分割轴和位置，以最小化冗余分区。

实验结果

研究问题

• RQ1 影子价格能否用于指导神经网络验证中更高效的输入分割？
• RQ2 与基于梯度的方法相比，基于影子价格的分割是否能减少分区数量和计算时间？
• RQ3 在标准基准测试上，基于影子价格的分割与输入输出梯度（IOG）分割的性能相比如何？
• RQ4 该方法能否扩展到复杂的安全关键型网络，如ACAS基准中的网络？

主要发现

• 在ACAS基准测试中，与基于输入输出梯度（IOG）的分割相比，所提方法将验证过程中生成的节点数减少了高达70%。
• 在10项验证任务中的8项中，基于影子价格的方法（BE）实现了更快的计算时间，时间比低于1.0，表明性能持续提升。
• BE分割的平均搜索深度更低，表明对输入空间的探索更高效。
• BE分割在除两项（ϕ₇ 和 ϕ₂ 中的两个网络）外的所有属性上均实现了完整验证，而IOG分割在更多任务上出现超时，包括ϕ₂ 和 ϕ₆。
• 在出现超时的情况下，BE优于IOG，表明由于分割决策更具信息量，其收敛行为更优。