[論文レビュー] Global Robustness Evaluation of Deep Neural Networks with Provable Guarantees for the $L_0$ Norm

Wenjie Ruan, Min Wu+4 more|arXiv (Cornell University)|Apr 16, 2018

Adversarial Robustness in Machine Learning参考文献 10被引用数 22

ひとこと要約

本稿では、$L_0$ノルムにおける深層ニューラルネットワークのグローバルなロバストネス評価に、証明可能かつ収束保証を備えた、任意のタイミングで実行可能なテンソルベースの手法L0-TREを提案する。この手法は、テストデータセット全体にわたる最大の安全半径の下界と上界を反復的にタイトニングし、最適値に収束させる。同時に、ImageNet分類器のような大規模モデルに対しても、GPUを活用した効率的な計算を可能にする。

ABSTRACT

Deployment of deep neural networks (DNNs) in safety- or security-critical systems requires provable guarantees on their correct behaviour. A common requirement is robustness to adversarial perturbations in a neighbourhood around an input. In this paper we focus on the $L_0$ norm and aim to compute, for a trained DNN and an input, the maximal radius of a safe norm ball around the input within which there are no adversarial examples. Then we define global robustness as an expectation of the maximal safe radius over a test data set. We first show that the problem is NP-hard, and then propose an approximate approach to iteratively compute lower and upper bounds on the network's robustness. The approach is \emph{anytime}, i.e., it returns intermediate bounds and robustness estimates that are gradually, but strictly, improved as the computation proceeds; \emph{tensor-based}, i.e., the computation is conducted over a set of inputs simultaneously, instead of one by one, to enable efficient GPU computation; and has \emph{provable guarantees}, i.e., both the bounds and the robustness estimates can converge to their optimal values. Finally, we demonstrate the utility of the proposed approach in practice to compute tight bounds by applying and adapting the anytime algorithm to a set of challenging problems, including global robustness evaluation, competitive $L_0$ attacks, test case generation for DNNs, and local robustness evaluation on large-scale ImageNet DNNs. We release the code of all case studies via GitHub.

研究の動機と目的

• 安全性やセキュリティが求められる応用分野において、$L_0$ノルム下での証明可能でスケーラブルなDNNのロバストネス評価の欠如に対処すること。
• テストデータセット全体における期待最大安全半径としてのグローバルロバストネスを定義し、計算することにより、スパースな入力摂動に対するネットワーク全体の耐性を捉えること。
• 保証のない既存の adversarial 攻撃手法や、小規模なネットワークに限定される形式的検証手法の限界を克服すること。
• 大規模モデルに対しても効率的でありながら、ロバストネス境界の収束保証を備えた手法を開発すること。
• 競合する$L_0$攻撃生成、テストケース合成、およびサリエンシー図によるモデル解釈性向上といった実用的応用を可能にすること。

提案手法

• 本手法は、各入力について最大安全半径の下界と上界を段階的に改善する任意タイミングアルゴリズムを用い、真の最適値への収束保証を有する。
• GPUを活用した並列処理を実現するため、複数の入力を同時に処理するテンソルベースの計算を採用し、個々の入力処理よりも効率を向上させる。
• ロバストネス問題を制約付き最適化問題として定式化し、区間伝播と抽象化の精緻化を繰り返すことで境界をタイトニングする。
• 入力バッチの新規テンソル表現を活用し、1つの計算グラフ内でテストセット全体にわたる境界計算を効率的に行える。
• 区間算術と過剰近似技術を用いて、ネットワーク層を逆方向に境界を伝播させ、正しさを保証する。
• テストセット全体にわたる境界の集約により、局所的ロバストネス評価とグローバルロバストネス推定の両方を実現し、収束保証を有する。

実験結果

リサーチクエスチョン

• RQ1 テストデータセット全体にわたるDNNの最大$L_0$ノルム安全半径について、証明可能な正しい下界と上界を収束保証付きで計算できるか？
• RQ2 形式的保証を失うことなく、ResNet-50 や VGG-19 といった大規模DNNにスケーラブルにロバストネス評価を適用できるか？
• RQ3 提案手法は、保証付き最適性を備えた、既存の adversarial 攻撃手法（例：JSMA, C&W）よりもタイトな$L_0$ノルム adversarial 例を生成できるか？
• RQ4 テストケース生成、モデル解釈性、アーキテクチャ設計指針といった下流タスクにおいて、本手法がどの程度の支援を提供できるか？
• RQ5 実世界のデータセットで実用的効率を維持しながら、正しさを保証するテンソルベースの任意タイミングアルゴリズムを設計可能か？

主な発見

• 提案手法L0-TREは、大規模なImageNetモデルに対しても、最大安全半径の下界と上界が最適値に証明可能な収束を示す。
• L0-TREは、既存の adversarial 攻撃手法（例：JSMA, C&W）よりもタイトな上界を、はるかに低い計算コストで算出できる。
• 本手法は、AlexNet、VGG-16/19、ResNet-50/101の5つのImageNetモデルにおいてグローバルロバストネス評価を実現し、スケーラビリティと実用性を示した。
• L0-TREは、保証付き最適性を備えた競合する$L_0$ノルム adversarial 例を効果的に生成でき、ベースライン攻撃を上回る有効性を示した。
• 本ツールは、テストケース生成および解釈性のためのサリエンシー図生成をサポートし、ロバストネス評価を超えた実用的利点を示した。
• テンソルベースの設計により、逐次的な個別入力評価よりも実行時間を短縮しながら、正しさを維持する効率的なGPU計算を実現した。