[论文解读] ART: Abstraction Refinement-Guided Training for Provably Correct Neural Networks

Xuankang Lin, He Zhu+2 more|arXiv (Cornell University)|Jul 17, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用 6

一句话总结

本文提出ART，一种新颖的训练框架，将抽象化精炼整合到神经网络优化中，以生成适用于安全关键应用的可证明正确模型。通过动态地根据正确性损失对输入空间抽象进行精炼，ART在保持高准确率的同时，确保了全局安全属性的形式化验证，在碰撞检测数据集上实现了96.83%的准确率，并验证了500条属性中的481条，准确率下降极小。

ABSTRACT

Artificial Neural Networks (ANNs) have demonstrated remarkable utility in various challenging machine learning applications. While formally verified properties of their behaviors are highly desired, they have proven notoriously difficult to derive and enforce. Existing approaches typically formulate this problem as a post facto analysis process. In this paper, we present a novel learning framework that ensures such formal guarantees are enforced by construction. Our technique enables training provably correct networks with respect to a broad class of safety properties, a capability that goes well-beyond existing approaches, without compromising much accuracy. Our key insight is that we can integrate an optimization-based abstraction refinement loop into the learning process and operate over dynamically constructed partitions of the input space that considers accuracy and safety objectives synergistically. The refinement procedure iteratively splits the input space from which training data is drawn, guided by the efficacy with which such partitions enable safety verification. We have implemented our approach in a tool (ART) and applied it to enforce general safety properties on unmanned aviator collision avoidance system ACAS Xu dataset and the Collision Detection dataset. Importantly, we empirically demonstrate that realizing safety does not come at the price of much accuracy. Our methodology demonstrates that an abstraction refinement methodology provides a meaningful pathway for building both accurate and correct machine learning networks.

研究动机与目标

• 为解决在航空防撞等安全关键系统中使用的神经网络确保形式化正确性保证的挑战。
• 通过从训练初期即强制执行全局安全属性，克服事后验证和仅鲁棒性分析的局限性。
• 开发一种方法，通过训练期间的动态抽象化精炼，协同平衡准确率与正确性。
• 提供一种“从构造起即正确”的替代方案，以减少对昂贵事后处理的依赖，替代运行时屏蔽或训练后验证。

提出的方法

• ART集成了一种正确性损失函数，用于量化在抽象化输入域上指定安全属性的违反程度。
• 它采用抽象解释技术，利用参数化抽象域生成输入空间和网络行为的可靠上界近似。
• 该框架通过基于正确性损失在验证安全约束方面有效性的输入分区分裂，执行迭代的抽象化精炼。
• 训练在准确率和正确性损失的梯度下降，以及输入抽象的精炼之间交替进行，以提高精度。
• 该过程确保：若正确性损失降至零，则可形式化保证网络满足所有指定的安全属性。
• 该方法已实现为名为ART的工具，并在ACAS Xu和碰撞检测数据集上进行了评估。

实验结果

研究问题

• RQ1 是否能够从一开始就训练神经网络以满足全局安全属性，而非事后验证？
• RQ2 如何将抽象化精炼集成到训练循环中，以同时提升正确性与准确率？
• RQ3 在真实世界的安全关键应用中，强制执行形式化正确性对模型准确率的影响程度如何？
• RQ4 抽象化精度与正确性损失之间的协同作用，是否能带来比现有方法更可扩展、更可靠的验证？

主要发现

• ART在碰撞检测数据集上实现了96.83%的准确率，同时验证了500条安全属性中的481条，显著优于基线的Oracle网络。
• 该方法在100个周期内将正确性损失降至接近零，表明收敛至满足大多数指定安全约束的解。
• 在ACAS Xu数据集上，ART成功强制执行了通用安全属性，且未损害模型准确率。
• 尽管强制执行了显著更多的正确性属性，ART的准确率相比安全Oracle基线仅下降了3.04个百分点。
• ART表明，训练期间的抽象化精炼可提供比现有验证或训练方法更强的正确性保证。
• 该框架表明，从构造起即正确的训练在真实世界安全关键应用中是可行且实用的。