[论文解读] Algorithms for Verifying Deep Neural Networks

Changliu Liu, Tomer Arnon+4 more|arXiv (Cornell University)|Mar 15, 2019

Adversarial Robustness in Machine Learning参考文献 68被引用 35

一句话总结

本论文综述了用于深度神经网络的健全性验证方法，连接可达性、优化和搜索，并提供教学实现与基准比较。

ABSTRACT

Deep neural networks are widely used for nonlinear function approximation with applications ranging from computer vision to control. Although these networks involve the composition of simple arithmetic operations, it can be very challenging to verify whether a particular network satisfies certain input-output properties. This article surveys methods that have emerged recently for soundly verifying such properties. These methods borrow insights from reachability analysis, optimization, and search. We discuss fundamental differences and connections between existing algorithms. In addition, we provide pedagogical implementations of existing methods and compare them on a set of benchmark problems.

研究动机与目标

• 在多样化应用中，激发对深度神经网络输入-输出性质进行验证的需求。
• 综述现有的验证方法，并按核心思想与技术进行分类。
• 突出验证方法之间的联系与差异及其理论基础。
• 提供教学用实现和基准比较以帮助理解与实践。

提出的方法

• 调查现有的深度神经网络验证方法。
• 讨论方法之间的根本差异与联系（可达性、优化、搜索）。
• 给出现有方法的教学性实现。
• 在一组基准问题上比较方法。

实验结果

研究问题

• RQ1 深度神经网络验证方法之间有哪些根本差异与联系（可达性、优化、搜索）？
• RQ2 如何以教学方式实现验证方法，以及它们在基准问题上的表现如何？
• RQ3 当前验证技术在不同网络类型和性质下的实际权衡与局限性是什么？

主要发现

• 用于深度神经网络的验证方法涵盖可达性分析、优化和搜索。
• 所调研算法之间存在根本差异与联系。
• 提供教学性实现以帮助理解与实验。
• 本文包含基准比较以评估方法性能。