[論文レビュー] Towards the Quantification of Safety Risks in Deep Neural Networks

Peipei Xu, Wenjie Ruan+1 more|arXiv (Cornell University)|Sep 13, 2020

Adversarial Robustness in Machine Learning参考文献 51被引用数 5

ひとこと要約

本稿では、統一された安全特性上でのLipschitzに基づくメトリクスを用いて、深層ニューラルネットワーク（DNN）における安全性リスクを定量化する汎用フレームワークであるDeepQuantを提案する。リスクをモデル化する。不確実性例（意思決定境界付近の入力で、人間には明確だがネットワークが不確実な状態であるもの）を導入し、GPUテンソル並列化を用いた勾配フリー最適化により、効率的かつスケーラブルな計算を実現。MNIST、CIFAR-10、ImageNetモデルにおいて、きついロバストネスと不確実性定量化を達成した。

ABSTRACT

Safety concerns on the deep neural networks (DNNs) have been raised when they are applied to critical sectors. In this paper, we define safety risks by requesting the alignment of the network's decision with human perception. To enable a general methodology for quantifying safety risks, we define a generic safety property and instantiate it to express various safety risks. For the quantification of risks, we take the maximum radius of safe norm balls, in which no safety risk exists. The computation of the maximum safe radius is reduced to the computation of their respective Lipschitz metrics - the quantities to be computed. In addition to the known adversarial example, reachability example, and invariant example, in this paper we identify a new class of risk - uncertainty example - on which humans can tell easily but the network is unsure. We develop an algorithm, inspired by derivative-free optimization techniques and accelerated by tensor-based parallelization on GPUs, to support efficient computation of the metrics. We perform evaluations on several benchmark neural networks, including ACSC-Xu, MNIST, CIFAR-10, and ImageNet networks. The experiments show that, our method can achieve competitive performance on safety quantification in terms of the tightness and the efficiency of computation. Importantly, as a generic approach, our method can work with a broad class of safety risks and without restrictions on the structure of neural networks.

研究の動機と目的

• 安全なシステムに応用される深層ニューラルネットワーク（DNN）における、多様な安全性リスクを定量化するための一般的でスケーラブルかつ検証可能な手法の欠如に対処すること。
• 敵対的攻撃、到達可能性、不変性、不確実性リスクなど、さまざまなリスクタイプを表現できる汎用的安全特性の定式化。
• 入力の周囲における最大安全ノルムボール半径を、その半径内に安全性リスクが存在しないことを保証するように、効率的でスケーラブルかつ検証可能な方法で計算すること。
• 人間の認識が明確であるがDNNの出力が極めて不確実な、新たな安全性リスクのクラス「不確実性例」を系統立てて同定・形式化すること。
• ImageNetのような最先端モデルを含む大規模DNNの実用的で理論的保証付きの安全性評価を可能にすること。

提案手法

• DNN出力にパrameter化された汎用的安全特性を定義し、敵対的攻撃、到達可能性、不変性、不確実性リスクなど、複数のリスクタイプを表現可能にすること。
• Lipschitz定数に基づく保守的な推定を用い、与えられた入力の周囲におけるLpノルムボール内でリスクが存在しない最大半径として安全性リスクを定量化すること。
• 最大安全半径の計算を、Lipschitzメトリクを最小化する最適化問題として定式化し、確率的探索法にインspiredされた勾配フリー最適化アルゴリズムを用いること。
• GPU上でのテンソルベースの並列化を活用し、複雑なアーキテクチャや活性化関数を持つ大規模モデルへの効率的スケーリングを実現すること。
• DNN出力分布と一様分布とのKLダイバージェンスを用いて、不確実性例の検出と定量化を行うこと。
• DeepQuantツールとしてフレームワークを実装し、GitHubでオープンソース化。MNIST、CIFAR-10、ImageNetモデルの評価をL∞ノルムおよびその他のノルムでサポート。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃や新規リスクタイプを含む、DNNにおける多様な安全性リスクを定量化する統一フレームワークを構築できるか？
• RQ2 与えられた入力とDNNに対して、理論的保証を伴いながらも保守的かつ効率的に最大安全ノルムボール半径を計算する方法は何か？
• RQ3 ネットワークの深さやアーキテクチャは、特に不確実性リスクの定量化にどのように影響するか？
• RQ4 人間は明確だがDNNが混乱する「不確実性例」を系統立てて検出・定量化できるか？
• RQ5 本手法は、ImageNetで使用されるような大規模で現実世界のDNNにスケーリング可能か？また、既存手法と比較して性能はいかがなものか？

主な発見

• DeepQuantは、ネットワーク出力と一様分布とのKLダイバージェンスを最小化することで、これまで未発見の安全性リスクであった「不確実性例」を効果的に同定・定量化し、モデルの不確実性が高まる領域を明らかにした。
• MNISTでは、DNN-2で32.16、DNN-6で77.48の平均L∞ノルムロバストネスを達成。DNN-4とDNN-5は精度（99.06–99.16％）とロバストネスのバランスに優れた結果を示した。
• CIFAR-10およびImageNetモデルでは、GPU加速によるテンソル並列化のおかげで、スケーラビリティと効率性を実証し、大規模ネットワークの評価を可能にした。
• 不確実性定量化の結果、ノルムボール半径が拡大するに従い、不確実性が急激に増加することが明らかになった。特にd=0.15でDNN-1とDNN-2は著しく高い不確実性を示した。
• 不確実性探索中に生成された中間画像は、曖昧さが進行的に増加しており、KLダイバージェンスがゼロに減少する傾向を示し、最適な摂動でモデルが完全に混乱していることを示した。
• DeepQuantは、敵対的ロバストネスを超える安全性評価の新たな次元を提供する最初のツールであり、自動的かつ洞察的な不確実性例の可視化を実現した。