[論文レビュー] PRIMA: Precise and General Neural Network Certification via Multi-Neuron Convex Relaxations

Mark Niklas Müller, Gleb Makarchuk+3 more|arXiv (Cornell University)|Mar 5, 2021

Adversarial Robustness in Machine Learning参考文献 69被引用数 13

ひとこと要約

PRIMAは、多ニューロン凸緩和と多項式時間の計算幾何学的アルゴリズムを用いる、新たなニューラルネットワーク検証フレームワークであり、多様な活性化関数とネットワークアーキテクチャにおいて高精度な認証を達成する。Tanhベースのネットワークにおいて、先行研究に比べて最大34%多くの画像を検証可能であり、実世界の自動運転用ネットワークの正確な検証を数分で実現する。

ABSTRACT

Formal verification of neural networks is critical for their safe and secure adoption in real-world applications. However, designing a precise and scalable verifier which can handle different activation functions, realistic network architectures and relevant specifications remains an open and difficult challenge. In this paper, we take a major step in addressing this challenge and present a new verification framework, called PRIMA. PRIMA is both (i) general: it handles any non-linear activation function, and (ii) precise: it computes precise convex approximations involving multiple neurons via novel convex hull approximation algorithms that leverage concepts from computational geometry. The algorithms have polynomial complexity, yield fewer constraints, and minimize precision loss. We evaluate the effectiveness of PRIMA on a variety of challenging image classifiers from prior work. Our results show that PRIMA is significantly more precise than state-of-the-art, verifying robustness for up to 14%, 30%, and 34% more images than existing work on ReLU-, Sigmoid-, and Tanh-based networks, respectively. Further, PRIMA enables, for the first time, precise verification of a realistic neural network for autonomous driving within a few minutes.

研究の動機と目的

• 安全性とセキュリティを要する実世界の応用を想定した、ニューラルネットワークにおける形式的検証の課題に取り組む。
• 既存の検証ツールに見られる限界、すなわち精度が低い、特定の活性化関数に限定される、あるいは複雑なアーキテクチャにスケーラブルでないという問題を克服する。
• 任意の非線形活性化関数をサポートしつつ、高い精度を維持する汎用検証フレームワークを開発する。
• 実際の深層ニューラルネットワーク、特に自動運転で使用されるものも含めて、効率的かつ正確に検証できるようにする。

提案手法

• 多ニューロン相互作用を正確にモデル化するために、計算幾何学の概念を活用した新しい凸包近似アルゴリズムを提案する。
• 精度損失を最小限に抑え、制約の数を削減する多項式時間の凸緩和計算アルゴリズムを設計する。
• 個々のニューロンの近似ではなく、多ニューロン緩和を用いて検証問題を凸最適化問題として定式化する。
• 標準的なディープラーニングアーキテクチャと多様な活性化関数に対応可能な、スケーラブルな検証パイプラインに緩和フレームワークを統合する。
• 幾何的洞察を活用してニューロン出力の境界を厳密にし、ロバストネス検証の精度を向上させる。
• 多ニューロン緩和と効率的なブランン・アンド・バウンズまたは線形計画法を組み合わせることで、複雑なネットワークのエンドツーエンド検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 汎用検証フレームワークは、任意の非線形活性化関数を扱いながらも、高い精度を維持できるか？
• RQ2 多ニューロン凸緩和は、個別ニューロン緩和と比較して、精度とスケーラビリティの面で優れているか？
• RQ3 提案された凸包近似アルゴリズムは、タイトネスを損なわず多項式時間の複雑さを達成できるか？
• RQ4 このフレームワークは、自動運転で使用されるような現実的で大規模なニューラルネットワークのロバストネスをどの程度まで検証できるか？
• RQ5 ReLU、シグモイド、Tanhといった異なる活性化関数において、PRIMAの精度は最先端の検証ツールと比較してどの程度優れているか？

主な発見

• ReLUベースのネットワークにおいて、既存手法に比べて最大14%多くの画像を検証可能である。
• シグモイドベースのネットワークでは、先行研究に比べて検証カバレッジが30%向上した。
• Tanhベースのネットワークでは、検証済み画像数が34%改善された。
• PRIMAは、数分のうちに現実的で複雑な自動運転用ニューラルネットワークの正確な検証を可能にした。これは従来実現できなかった能力である。
• 提案された凸包近似アルゴリズムは、多項式時間の複雑さを達成するとともに、精度損失を最小限に抑え、制約の数を削減した。
• フレームワークは、性能を損なわず、多様な活性化関数と複雑なアーキテクチャに強く一般化する能力を示した。