[論文レビュー] Safety Verification of Deep Neural Networks

Xiaowei Huang, Marta Kwiatkowska+2 more|arXiv (Cornell University)|Oct 21, 2016

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

本論文は、深層ニューラルネットワークのSMTベースの検証フレームワークを提示する。この手法は、入力の近傍を体系的に探索することで、分類誤りを引き起こす最小限の摂動（敵対的例）を網羅的に検出する。画像分類における安全性を保証する。この方法は、定義された入力領域内に敵対的例が存在するかどうかを保証し、ヒューリスティック探索手法に比べ、指定された摂動空間において形式的検証と完全性の保証を提供する。

ABSTRACT

Deep neural networks have achieved impressive experimental results in image classification, but can surprisingly be unstable with respect to adversarial perturbations, that is, minimal changes to the input image that cause the network to misclassify it. With potential applications including perception modules and end-to-end controllers for self-driving cars, this raises concerns about their safety. We develop a novel automated verification framework for feed-forward multi-layer neural networks based on Satisfiability Modulo Theory (SMT). We focus on safety of image classification decisions with respect to image manipulations, such as scratches or changes to camera angle or lighting conditions that would result in the same class being assigned by a human, and define safety for an individual decision in terms of invariance of the classification within a small neighbourhood of the original image. We enable exhaustive search of the region by employing discretisation, and propagate the analysis layer by layer. Our method works directly with the network code and, in contrast to existing methods, can guarantee that adversarial examples, if they exist, are found for the given region and family of manipulations. If found, adversarial examples can be shown to human testers and/or used to fine-tune the network. We implement the techniques using Z3 and evaluate them on state-of-the-art networks, including regularised and deep learning networks. We also compare against existing techniques to search for adversarial examples and estimate network robustness.

研究の動機と目的

• 自律走行などの重要な応用分野で使用される深層ニューラルネットワークにおける安全性の懸念に対処すること。ここでは、小さな入力摂動が分類誤りを引き起こす可能性がある。
• ヒューリスティック探索に依存するのではなく、定義された入力近傍内に敵対的例が検出可能であることを保証する形式的検証手法を開発すること。
• 照明、角度、ノイズの変化などの入力摂動を体系的かつ網羅的に探索しながら、人間が認識する分類の一貫性を維持すること。
• 学習データにアクセスを必要とせず、完全性を保つ形式的検証手法を提供すること。
• 最新のネットワーク、特に正則化および深層アーキテクチャを含む、実世界の応用で使用される大規模な深層ニューラルネットワークへのスケーラビリティと有効性を示すこと。

提案手法

• フレームワークは、Satisfiability Modulo Theory (SMT) を用いて、入力摂動下での前向き伝播型多層ニューラルネットワークの挙動をモデル化・検証する。
• 安全性は、与えられた入力画像の周囲の小さな近傍内において、ネットワーク出力クラスが不変であると定義する。各入力次元に対して、ユーザーが定義するノルムと領域直径を用いる。
• この手法は、ネットワーク全体を通じて制約を段階的に伝播させ、区間算術とSMTソルバを用いて活性化の境界の過剰近似を維持する。
• 非決定的で反復的な操作戦略を採用し、入力摂動の完全なラダー木構造を探索することで、定義された領域内にあるすべての変種をカバーする。
• 各入力次元のサブセットに対して、異なるノルムと直径を用いて選択的摂動を可能とし、現実的な画像歪みの柔軟なモデル化を可能にする。
• 実装ではZ3 SMTソルバを用いて、ネットワークの計算グラフ上で記号的推論を実行し、敵対的例の存在を形式的に検証する。

実験結果

リサーチクエスチョン

• RQ1 形式的検証手法は、深層ニューラルネットワークの定義された入力近傍内に敵対的例が検出可能であることを保証できるか？
• RQ2 照明や角度の変更などの現実的な画像操作下で、画像分類意思決定の安全性を形式的に定義できるか？
• RQ3 SMTベースの技術は、ヒューリスティック最適化手法とは異なり、敵対的例検出において完全性の保証を提供できるか？
• RQ4 この手法は、実世界の応用で使用される実用的で大規模な深層ニューラルネットワークにどの程度スケーラブルか？
• RQ5 既存の敵対的例探索手法と比較して、本手法の有効性と完全性はどのように異なるか？

主な発見

• 本手法は、実画像データセット上での最新の深層ニューラルネットワーク（正則化および深層アーキテクチャを含む）の安全性を成功裏に検証した。
• 低次元の入力領域では、敵対的例が数秒で検出された。これは、管理可能な入力空間において本手法の実現可能性を示している。
• フレームワークは完全性を保証する：指定された入力領域内に敵対的例が存在する場合、必ず検出される。ヒューリスティック手法とは異なり、このような例を逃すことはない。
• 計算コストが高いため高次元入力では遅いものの、既存の最適化ベース手法に比べ、検証の完全性と形式的保証の面で優れている。
• 本手法は、モデルのデバッグや微調整のための人に理解可能な敵対的例の生成を可能とし、モデルの耐性強化に寄与する。
• 入力特徴数の指数的増加に起因する性能制限があるが、並列処理や抽象化の精密化による改善の可能性が同定された。