[論文レビュー] Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming

Mahyar Fazlyab, Manfred Morari+1 more|arXiv (Cornell University)|Mar 4, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、一般の活性化関数を備えたフィードフォワードニューラルネットワークの安全性検証およびロバストネス解析のための半定値計画法（SDP）フレームワークを提案する。入力摂動がノルムで有界である条件下で、活性化関数の性質（勾配の有界性、単調性、層間での繰り返し）を二次制約（QC）を用いて抽象化することで、S-手続きを介して検証問題をSDPの可解性問題に定式化し、調整可能な保守性と計算効率を兼ね備えた証明可能なロバストネス保証を可能にする。

ABSTRACT

Certifying the safety or robustness of neural networks against input uncertainties and adversarial attacks is an emerging challenge in the area of safe machine learning and control. To provide such a guarantee, one must be able to bound the output of neural networks when their input changes within a bounded set. In this paper, we propose a semidefinite programming (SDP) framework to address this problem for feed-forward neural networks with general activation functions and input uncertainty sets. Our main idea is to abstract various properties of activation functions (e.g., monotonicity, bounded slope, bounded values, and repetition across layers) with the formalism of quadratic constraints. We then analyze the safety properties of the abstracted network via the S-procedure and semidefinite programming. Our framework spans the trade-off between conservatism and computational efficiency and applies to problems beyond safety verification. We evaluate the performance of our approach via numerical problem instances of various sizes.

研究の動機と目的

• 入力の不確実性に対して、安全性とロバストネスを証明可能かつ計算的に実行可能な方法で検証するための手法の開発。
• 既存手法の限界を克服し、区分線形でない一般の活性化関数に対しても解析を可能にする。
• 構造的な二次制約を用いることで、ロバストネス認証における保守性を低減しつつ、計算可能性を維持する。
• 安全性検証にとどまらず、リプシッツ定数推定や出力到達可能集合解析などに応用可能な統一的フレームワークの提供。
• 異なるQCタイプの含む／除外する操作を通じて、計算複雑性と解のタイトさの間の系統的トレードオフを実現する。

提案手法

• 勾配の有界性、単調性、値の有界性といった性質を符号化する二次制約（QC）を用いて、活性化関数を抽象化する。
• 層間のニューロン相互作用を捉えるために、全ニューラルネットワークを相互接続された二次制約のシステムとしてモデル化する。
• S-手続きを用いて複数のQCを統合し、安全性検証問題を半定値計画法（SDP）の可解性問題に定式化する。
• 入力不確実性集合と活性化関数の性質をそれぞれ特定のQC行列で表現する階層的抽象化を導入する。
• 行列のリフトとシュール補行列を用いて、非線形不等式を凸なSDP制約に変換する。
• 異なる種類のQCを形式に含める・除外する選択により、スケーラビリティと調整可能な保守性を実現する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化フレームワークを用いて、入力摂動に対する深層ニューラルネットワークのロバストネスを検証できるか？
• RQ2 一般の活性化関数を二次制約でどのように抽象化できるか、不確実性下でのネットワーク挙動をどのように保持できるか？
• RQ3 ニューロン間の層間結合を捉えることで、ロバストネス検証における保守性はどの程度低減されるか？
• RQ4 検証プロセスにおいて、計算コストと解のタイトさのトレードオフを系統的に制御できるか？
• RQ5 提案されたQCベースのSDPフレームワークは、安全性検証を越えて、リプシッツ定数推定などの問題にも一般化可能か？

主な発見

• 提案されたSDPフレームワークは、ℓ∞-有界な入力摂動下において、ReLUおよび他の一般の活性化関数に対しても証明可能なロバストネス認証を達成する。
• 層間で繰り返される非線形性を捉える二次制約を含めることで、検証の保守性が顕著に低減される。
• 数値評価では、100〜1000個の隠れニューロンを持つネットワークで、隠れ層のニューロン数が増加するにつれて過剰近似の品質が向上する。
• 大きな摂動サイズ（例：ε = 0.8）では境界が緩くなるが、フレームワークはさまざまなε値において数値的に安定かつスケーラブルである。
• ネットワークの深さや幅に関わらず、計算複雑度がネットワークサイズに対して多項式スケールで増加するため、効率的な検証が可能である。
• S-手続きによる理論的保証により、抽象化されたシステムで検証された性質は、元のニューラルネットワークに対しても成立することが保証される。