[论文解读] Automated Repair of Neural Networks

Dor Cohen, Ofer Strichman|arXiv (Cornell University)|Jul 17, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出了一种基于SMT的框架，通过仅修改少数权重，自动修复不安全的神经网络，以满足形式化安全规范，实现对抗鲁棒性的同时最小化准确率损失。该方法将修复问题形式化为逻辑约束满足任务，实现可证明正确的、与原始网络行为相似的神经网络。

ABSTRACT

Over the last decade, Neural Networks (NNs) have been widely used in numerous applications including safety-critical ones such as autonomous systems. Despite their emerging adoption, it is well known that NNs are susceptible to Adversarial Attacks. Hence, it is highly important to provide guarantees that such systems work correctly. To remedy these issues we introduce a framework for repairing unsafe NNs w.r.t. safety specification, that is by utilizing satisfiability modulo theories (SMT) solvers. Our method is able to search for a new, safe NN representation, by modifying only a few of its weight values. In addition, our technique attempts to maximize the similarity to original network with regard to its decision boundaries. We perform extensive experiments which demonstrate the capability of our proposed framework to yield safe NNs w.r.t. the Adversarial Robustness property, with only a mild loss of accuracy (in terms of similarity). Moreover, we compare our method with a naive baseline to empirically prove its effectiveness. To conclude, we provide an algorithm to automatically repair NNs given safety properties, and suggest a few heuristics to improve its computational performance. Currently, by following this approach we are capable of producing small-sized (i.e., with up to few hundreds of parameters) correct NNs, composed of the piecewise linear ReLU activation function. Nevertheless, our framework is general in the sense that it can synthesize NNs w.r.t. any decidable fragment of first-order logic specification.

研究动机与目标

• 为解决在自动驾驶等安全关键应用中确保神经网络安全性这一关键挑战。
• 为未能满足安全规范（尤其是对抗鲁棒性）的神经网络提供一种形式化、可证明的修复方法。
• 在保留原始网络决策边界和准确率的前提下，最小化权重修改的数量。
• 开发一种通用框架，适用于任何可判定的一阶逻辑规范，不限于对抗鲁棒性。
• 提供一种替代迭代对抗训练的方法，通过形式化方法直接合成安全、经验证的网络参数。

提出的方法

• 将神经网络修复问题形式化为可满足性模理论（SMT）问题，将网络结构和安全规范编码为逻辑约束。
• 对网络权重的一个小集合（例如，w21、bias21）使用存在量词，以搜索满足规范的有效参数赋值。
• 在SMT公式中使用if-then-else结构编码ReLU激活函数，以建模分段线性行为。
• 应用SMT求解器判断是否存在安全的参数赋值；若修复可行则返回SAT，否则返回UNSAT。
• 采用启发式方法提高计算效率，例如剪枝搜索空间和选择最优权重用于修复。
• 支持推广至任何可判定的一阶逻辑规范，使该方法可应用于对抗鲁棒性之外的场景。

实验结果

研究问题

• RQ1 SMT求解器能否有效用于自动修复未能满足安全规范的神经网络？
• RQ2 修复过程在多大程度上能保留原始网络的准确率和决策边界？
• RQ3 与对抗训练和朴素基线方法相比，所提出的基于SMT的修复方法在有效性和效率方面表现如何？
• RQ4 该框架在更大或更复杂的神经网络架构上的可扩展性如何？
• RQ5 该框架能否推广至强制执行任意可判定的一阶逻辑规范（而不仅限于对抗鲁棒性）？

主要发现

• 所提出的框架成功修复了小型神经网络（最多数百个参数），实现了对抗鲁棒性，且准确率损失轻微。
• 该方法通过SMT求解直接合成安全权重，生成可证明正确的神经网络表示，避免了迭代微调。
• 实验表明，该框架在修复成功率和准确率保持方面均优于朴素基线方法。
• 该框架具有通用性，可强制执行任何可判定的一阶逻辑规范，不限于对抗鲁棒性。
• 诸如策略性权重选择和求解器调优等启发式方法提升了计算性能，使更现实基准的探索成为可能。
• SMT编码成功捕捉了分段线性ReLU网络，并通过约束求解实现了安全属性的形式化验证。