[論文レビュー] DNN Verification, Reachability, and the Exponential Function Problem

Omri Isac, Yoni Zohar+2 more|arXiv (Cornell University)|Jan 1, 2023

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

この論文は、シグモイド関数やtanh関数などの滑らかで区分的滑らか（piecewise-smooth）な活性化関数を用いた深層ニューラルネットワーク（DNN）の検証が、モデル理論における長年の未解決問題であるタルスキの指数関数問題に等価であることを確立している。さらに、量子化子を含まない線形算術仕様を用いたDNN検証は、ε誤差許容範囲下でNP完全なDNN到達可能性問題に還元可能であり、区分的線形DNNと滑らかなDNNの間で根本的な複雑性の隔たりが生じることを明らかにした。

ABSTRACT

Deep neural networks (DNNs) are increasingly being deployed to perform safety-critical tasks. The opacity of DNNs, which prevents humans from reasoning about them, presents new safety and security challenges. To address these challenges, the verification community has begun developing techniques for rigorously analyzing DNNs, with numerous verification algorithms proposed in recent years. While a significant amount of work has gone into developing these verification algorithms, little work has been devoted to rigorously studying the computability and complexity of the underlying theoretical problems. Here, we seek to contribute to the bridging of this gap. We focus on two kinds of DNNs: those that employ piecewise-linear activation functions (e.g., ReLU), and those that employ piecewise-smooth activation functions (e.g., Sigmoids). We prove the two following theorems: 1) The decidability of verifying DNNs with a particular set of piecewise-smooth activation functions is equivalent to a well-known, open problem formulated by Tarski; and 2) The DNN verification problem for any quantifier-free linear arithmetic specification can be reduced to the DNN reachability problem, whose approximation is NP-complete. These results answer two fundamental questions about the computability and complexity of DNN verification, and the ways it is affected by the network's activation functions and error tolerance; and could help guide future efforts in developing DNN verification tools.

研究の動機と目的

• 非区分的線形でない活性化関数を有するDNNの検証の計算可能性および複雑性を調査すること。
• 滑らかで区分的滑らかな活性化関数を有するDNNの検証が決定可能かどうかを特定すること。
• ε誤差許容範囲および量子化子を含まない線形算術仕様下でのDNN検証の計算複雑性を分析すること。
• DNN検証、到達可能性、既知の決定可能理論との間の正式な関係を確立すること。
• 理論的限界と複雑性クラスを特定することで、将来の検証ツール開発を導くこと。

提案手法

• 滑らかで区分的滑らかな活性化関数を含むDNN検証クエリとタルスキの指数関数問題のインスタンスとの間の形式的全単射を構築すること。
• このようなネットワークのDNN検証問題が、タルスキの未解決問題と論理的に同値であることを証明し、タルスキの問題が解決されない限り、不決定的であることを示すこと。
• 量子化子を含まない線形算術仕様を有する任意のDNN検証クエリを、構成的変換によってDNN到達可能性問題に還元すること。
• 計算論的論理からの既知の複雑性結果を用いて、ε誤差許容範囲下でのDNN到達可能性問題がNP完全であることを示すこと。
• Nelson-Oppen法を、共有するシグネチャを有する非互いに素な理論への適応を含め、意思決定手続きの組み合わせの理論的基盤として用いること。
• 等価制約を符号化する追加のReLUニューロンを用いた補助ネットワークを構築することで、DNN同等性などのマルチネットワーク検証タスクへの到達可能性還元を拡張すること。

実験結果

リサーチクエスチョン

• RQ1 滑らかで区分的滑らかな活性化関数を有するDNNの検証問題は決定可能か？
• RQ2 ε誤差許容範囲が導入された場合、DNN検証の計算複雑性はいかほどか？
• RQ3 量子化子を含まない線形算術仕様を用いたDNN検証は、DNN到達可能性問題に還元可能か？
• RQ4 ReLUに類似した活性化関数を有するDNNの理論的性質は、シグモイドやtanhを有するDNNと比較して、検証複雑性の観点でどのように異なるか？
• RQ5 ネットワークアーキテクチャや仕様言語の制限を加えることで、DNN検証の決定的断片を特定できるか？

主な発見

• 滑らかで区分的滑らかな活性化関数を有するDNN検証問題は、モデル理論における有名な未解決問題であるタルスキの指数関数問題と論理的に同値である。
• 量子化子を含まない線形算術仕様を用いたDNN検証は、ε誤差許容範囲下でDNN到達可能性問題に還元可能であり、その問題はNP完全である。
• この還元により、ε許容範囲下でのDNN到達可能性問題がNPの完全問題であることが示され、検証ツールの複雑性ベンチマークが得られた。
• 等価制約を追加のReLUニューロンで符号化する構成により、DNN同等性などのマルチネットワーククエリに対しても、検証と到達可能性の同値性が保たれる。
• 研究結果は、根本的な理論的隔たりを明らかにした：区分的線形DNNの検証はNP完全であるが、滑らかなDNNの検証は数学的論理における未解決問題に依存している。
• 本研究は、滑らかなDNNの正確な検証が、Tarskiの問題が解決されない限り、区分的線形DNNの検証よりも本質的に難しい可能性を示唆している。