[論文レビュー] Reachability Analysis of Deep Neural Networks with Provable Guarantees

Wenjie Ruan, Xiaowei Huang+1 more|arXiv (Cornell University)|May 6, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用数 34

ひとこと要約

本稿は、リプシッツ連続性に基づく適応的ネスト最適化を用いて、保証可能な保証を提供する深層ニューラルネットワーク（DNN）の到達可能性解析フレームワークを提案する。このフレームワークは、安全な検証、出力範囲解析、耐性評価を可能にし、シグモイドやソフトマックスなどのReLU以外の活性化関数を含む多様なDNNアーキテクチャに適用可能であり、数百万のニューロンを持つ大規模ネットワークにもスケーリング可能である。これは、制約ベースの手法に比べてスケーラビリティとレイヤー対応において最先端の性能を発揮する。

ABSTRACT

Verifying correctness of deep neural networks (DNNs) is challenging. We study a generic reachability problem for feed-forward DNNs which, for a given set of inputs to the network and a Lipschitz-continuous function over its outputs, computes the lower and upper bound on the function values. Because the network and the function are Lipschitz continuous, all values in the interval between the lower and upper bound are reachable. We show how to obtain the safety verification problem, the output range analysis problem and a robustness measure by instantiating the reachability problem. We present a novel algorithm based on adaptive nested optimisation to solve the reachability problem. The technique has been implemented and evaluated on a range of DNNs, demonstrating its efficiency, scalability and ability to handle a broader class of networks than state-of-the-art verification approaches.

研究の動機と目的

• 安全な応用分野における深層ニューラルネットワークの正しさと耐性を検証する課題に対処すること。
• 任意の入力部分空間に対して、リプシッツ連続関数の出力関数の保証可能な下限と上限を計算する汎用的な到達可能性問題を定式化すること。
• 既存の制約ベースの検証手法の制限を克服すること。これらの手法はReLUのみのネットワークに限定されており、大規模モデルにスケーリングできない。
• 数百万のニューロンを持つ最新のDNN、およびシグモイド、マックスプーリング、ソフトマックスなどの非線形レイヤーの検証を可能にすること。
• アドバーシャル耐性を越えて、DNNの安全認証のためのスケーラブルで保証可能かつ汎用的なフレームワークを提供すること。

提案手法

• 本手法は、与えられた入力部分空間上でのDNN出力の任意のリプシッツ連続関数に対して、保証可能な境界を計算する汎用的な到達可能性問題を定式化する。
• すべての標準的なDNNレイヤー（ReLU、シグモイド、マックスプーリング、ソフトマックス）のリプシッツ連続性を活用し、解析的にタイトなリプシッツ定数を計算する。
• 入力空間の離散化を伴わずに、グローバルな下限と上限を効率的に計算するための適応的ネスト最適化アルゴリズムを提案する。
• MILP、SAT、SMTソルバに依存するのではなく、ネットワークのリプシッツ特性に基づく収束保証を持つ連続最適化を用いる。
• 計算の複雑さは、摂動を加える入力次元数に依存するが、隠れニューロンの数には依存しないため、大規模モデルへのスケーリングが可能である。
• 実装名はDeepGOであり、ACAS-XuおよびAlexNetなどの大規模ネットワーク上で評価され、スケーラビリティとレイヤー対応において優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 任意のリプシッツ連続関数（活性化関数の種別にかかわらず）に対して、DNN出力の保証可能な境界を提供する到達可能性解析フレームワークを開発できるか？
• RQ2 制約ベースのソルバが大規模ネットワークで失敗するという制限を超えて、DNN検証のスケーラビリティをどのように向上させられるか？
• RQ3 シグモイド、ソフトマックス、マックスプーリングなどのReLU以外のレイヤーを、保証可能な検証フレームワーク内で形式的に扱えるか？
• RQ4 本手法は、実行時間、レイヤー対応、実世界の大規模DNNへの適用性において、既存のツールを上回っているか？
• RQ5 本手法を用いて、原理的かつ定量的に、異なるDNNアーキテクチャの耐性を比較・評価できるか？

主な発見

• 提案手法は、19層にまで及ぶDNNの検証に成功したが、Reluplex や BaB などの既存ツールは6層までに制限されている。
• MIP や BaB などの制約ベースのツールが数百ニューロンまでに制限される中、本手法はAlexNet（650万ニューロン）のような数百万ニューロンのネットワークにもスケーリング可能である。
• シグモイド、ソフトマックス、マックスプーリングを含むすべての標準DNNレイヤーをサポートするが、SHERLOCK や Reluplex はReLUに限定されている。
• ACAS-Xuネットワークでは、より高性能なハードウェアを搭載していないにもかかわらず、BaBと同等の性能を達成し、他の制約ベースのツールを上回った。
• 計算の複雑さは、隠れニューロン数ではなく入力次元数に関してNP完全であるため、大規模モデルへのスケーリングがより良好である。
• フレームワークにより、定量的な耐性比較が可能となった。例えば、DNN-4はFeature-3において出力範囲[94.2%, 100%]を示し、優れた耐性を示した。