[论文解读] DNN Verification, Reachability, and the Exponential Function Problem

Omri Isac, Yoni Zohar+2 more|arXiv (Cornell University)|Jan 1, 2023

Adversarial Robustness in Machine Learning被引用 3

一句话总结

该论文表明，使用平滑及分段平滑激活函数（如Sigmoid和tanh）的深度神经网络（DNN）验证问题，等价于模型论中的塔斯基指数函数问题，这是长期悬而未决的开放性问题。此外，论文进一步证明，在ϵ误差容限下，使用无量词线性算术规格说明的DNN验证问题可归约为NP完全的DNN可达性问题，揭示了分段线性DNN与平滑DNN之间在根本复杂性上的差异。

ABSTRACT

Deep neural networks (DNNs) are increasingly being deployed to perform safety-critical tasks. The opacity of DNNs, which prevents humans from reasoning about them, presents new safety and security challenges. To address these challenges, the verification community has begun developing techniques for rigorously analyzing DNNs, with numerous verification algorithms proposed in recent years. While a significant amount of work has gone into developing these verification algorithms, little work has been devoted to rigorously studying the computability and complexity of the underlying theoretical problems. Here, we seek to contribute to the bridging of this gap. We focus on two kinds of DNNs: those that employ piecewise-linear activation functions (e.g., ReLU), and those that employ piecewise-smooth activation functions (e.g., Sigmoids). We prove the two following theorems: 1) The decidability of verifying DNNs with a particular set of piecewise-smooth activation functions is equivalent to a well-known, open problem formulated by Tarski; and 2) The DNN verification problem for any quantifier-free linear arithmetic specification can be reduced to the DNN reachability problem, whose approximation is NP-complete. These results answer two fundamental questions about the computability and complexity of DNN verification, and the ways it is affected by the network's activation functions and error tolerance; and could help guide future efforts in developing DNN verification tools.

研究动机与目标

• 研究具有非分段线性激活函数的DNN验证的可计算性与复杂性。
• 确定具有平滑及分段平滑激活函数的DNN验证是否可判定。
• 分析在ϵ误差容限和无量词线性算术规格说明下，DNN验证的计算复杂性。
• 建立DNN验证、可达性与已知可判定理论之间的正式联系。
• 通过识别理论边界与复杂性类，为未来验证工具的开发提供指导。

提出的方法

• 构建涉及平滑及分段平滑激活函数的DNN验证查询与塔斯基指数函数问题实例之间的形式双射。
• 证明此类网络的DNN验证问题在逻辑上等价于塔斯基的开放性问题，意味着除非塔斯基问题被解决，否则该问题不可判定。
• 通过构造性变换，将任意具有无量词线性算术规格说明的DNN验证查询归约为DNN可达性问题。
• 利用计算逻辑中的已知复杂性结果，证明在ϵ误差容限下的DNN可达性问题为NP完全问题。
• 以Nelson-Oppen方法作为组合决策程序的理论基础，尽管需针对共享签名的非不相交理论进行调整。
• 将可达性归约扩展至多网络验证任务（如DNN等价性），通过构建编码等式约束的辅助网络实现。

实验结果

研究问题

• RQ1 具有平滑及分段平滑激活函数的DNN验证问题是否可判定？
• RQ2 在引入ϵ误差容限后，DNN验证的计算复杂性如何？
• RQ3 具有无量词线性算术规格说明的DNN验证能否归约为DNN可达性问题？
• RQ4 在验证复杂性方面，具有ReLU类激活函数的DNN与具有Sigmoid或tanh激活函数的DNN在理论属性上存在何种差异？
• RQ5 通过限制网络架构或规格说明语言，能否识别出DNN验证的可判定片段？

主要发现

• 具有平滑及分段平滑激活函数的DNN验证问题在逻辑上等价于模型论中著名的塔斯基指数函数问题。
• 在无量词线性算术规格说明下，DNN验证问题可归约为DNN可达性问题，且在ϵ误差容限下该问题为NP完全问题。
• 该归约表明，在ϵ容差下的DNN可达性问题是NP完全问题，为验证工具提供了复杂性基准。
• 通过使用额外的ReLU神经元编码等式约束的构造，验证与可达性之间的等价性在多网络查询（如DNN等价性）中依然成立。
• 研究结果揭示了一个根本性的理论分野：分段线性DNN的验证为NP完全问题，而平滑DNN的验证则与数学逻辑中尚未解决的问题相关联。
• 该研究表明，除非塔斯基问题被解决，否则平滑DNN的精确验证可能本质上比分段线性DNN更困难。