[論文レビュー] Neuro-Symbolic Verification of Deep Neural Networks

Xuan Xie, Kristian Kersting+1 more|arXiv (Cornell University)|Mar 2, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文では、深層ニューラルネットワークの形式的検証を拡張する新しい枠組みである神経記号的検証（neuro-symbolic verification）を紹介する。この手法により、'停止標識が検出されたときに停止する' といった複雑で現実世界に即した性質を、神経ネットワークを意味的コンponentsとして含む論理的仕様内で表現可能になる。既存の検証インfraストラクチャを基盤として構築されており、多様な性質の検証が可能であり、データ分布に配慮した意味のある反例を生成する。従来の手法に比べ、デバッグ性が著しく向上する。

ABSTRACT

Formal verification has emerged as a powerful approach to ensure the safety and reliability of deep neural networks. However, current verification tools are limited to only a handful of properties that can be expressed as first-order constraints over the inputs and output of a network. While adversarial robustness and fairness fall under this category, many real-world properties (e.g., "an autonomous vehicle has to stop in front of a stop sign") remain outside the scope of existing verification technology. To mitigate this severe practical restriction, we introduce a novel framework for verifying neural networks, named neuro-symbolic verification. The key idea is to use neural networks as part of the otherwise logical specification, enabling the verification of a wide variety of complex, real-world properties, including the one above. Moreover, we demonstrate how neuro-symbolic verification can be implemented on top of existing verification infrastructure for neural networks, making our framework easily accessible to researchers and practitioners alike.

研究の動機と目的

• 現在の形式的検証手法が、深層ニューラルネットワークの入出力に対する単純な一次の制約しか検証できないという限界を是正すること。
• 交通標識への反応としての自動運転車両の挙動といった、意味的に豊かだが標準的な制約では表現できない複雑で現実世界の性質を検証可能にすること。
• 深層ニューラルネットワークを論理的仕様内の意味的コンponentsとして統合し、認識や推論を含む性質の検証を可能にすること。
• 既存の検証フレームワーク上に神経記号的検証を実装できることを示し、実用的なアクセス性を確保すること。
• 入力をデータ分布に制限することで、より情報量が多く意味のある反例を生成し、デバッグおよびシステム開発を改善すること。

提案手法

• 複雑な性質を表現できる新しい記述言語、神経記号的アサーション言語（Neuro-Symbolic Assertion Language, NeSAL）を提案。この言語は論理的アサーションと、深層ニューラルネットワークを「仕様ネットワーク」として組み合わせる。
• GTSRB や MNIST で事前学習されたネットワーク（例：「停止標識が検出された」や「高い信頼度の予測」など）を用いて、高レベルの意味的コンセプトを表現する。
• これらの神経記号的仕様を形式的検証に統合し、仕様ネットワークの出力と検証対象の主ネットワークの出力の間の制約としてエンコードする。
• Marabou フレームワーク上にプロトタイプ検証ツールを構築し、既存のニューラルネットワーク検証インfraストラクチャを再利用する。
• 自己符号化器（autoencoder）を用いて反例探索をデータ分布に制限し、生成される反例が現実的かつ意味のあるものになるようにする。
• 複数のネットワークを含む性質、例えば「検出ネットワークが停止標識を出力した場合、制御ネットワークはブレーキをかける必要がある」といった条件付き論理の検証をサポートする。

実験結果

リサーチクエスチョン

• RQ1 形式的検証は、入出力に対する単純な一次制約では表現できない、複雑で現実世界の性質へと拡張可能だろうか？
• RQ2 深層ニューラルネットワークは、論理的仕様内での意味的コンponentsとして用いられ、高レベルのシステム挙動の検証が可能だろうか？
• RQ3 神経記号的検証は、従来の検証手法に比べ、より意味的で実行可能な反例を生成できるだろうか？
• RQ4 既存の検証インfraストラクチャ上に神経記号的検証を実装することは、大幅な再実装なしで可能だろうか？
• RQ5 神経記号的検証は、MNIST や GTSRB といった現実世界のベンチマークでどのようにスケーリングするのか？また、違反の検出においてどの程度の有効性を示すのか？

主な発見

• 神経記号的検証（NSV）プロトタイプは、GTSRB データセットの14のベンチマークすべてを正しく検証し、性質 $P_1$ の満足を証明し、$P_2$ と $P_3$ については反例を発見した。
• MNIST データセットでは、NSV は唯一のベンチマーク（$P_1$）でタイムアウトしたが、その他のすべてのケースで反例を発見し、訓練時における性質の強制なしでも強力なカバレッジを示した。
• NSV が生成した反例は意味的かつ妥当であり、自己符号化器による制約のおかげでデータ分布から生成されたものであり、従来の検証手法が生成するようなランダムノイズとは異なっていた。
• 図2に示すように、NSV の反例は視覚的に直感的で、実際のデータに近く、標準的な検証ツールに比べて優れたデバッグ性を示している。
• NSV はスケーラブルで実用的である。NSV は Marabou 検証フレームワーク上に構築されており、既存のツールやインfraストラクチャを再利用可能である。
• 結果から、神経記号的検証は、自動運転車両のような安全が求められるシステムにおける、複雑で認識に依存する性質の検証を効果的に可能にすることが確認された。