[論文レビュー] Robustness Certificates Against Adversarial Examples for ReLU Networks

Sahil Singla, Soheil Feizi|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用数 5

ひとこと要約

本稿では、活性化領域の区分的線形構造を活用して、ReLUニューラルネットワークのための新規で計算が容易なロバスト性証明を提案する。シンプルプレックス証明は、敵対的ロバスト性の微分可能で閉形式の下界を提供し、従来の手法と比較して1桁速く計算可能であり、深層ネットワークに対してもスケーラブルな認証を可能にする。

ABSTRACT

While neural networks have achieved high performance in different learning tasks, their accuracy drops significantly in the presence of small adversarial perturbations to inputs. Defenses based on regularization and adversarial training are often followed by new attacks to defeat them. In this paper, we propose attack-agnostic robustness certificates for a multi-label classification problem using a deep ReLU network. Although computing the exact distance of a given input sample to the classification decision boundary requires solving a non-convex optimization, we characterize two lower bounds for such distances, namely the simplex certificate and the decision boundary certificate. These robustness certificates leverage the piece-wise linear structure of ReLU networks and use the fact that in a polyhedron around a given sample, the prediction function is linear. In particular, the proposed simplex certificate has a closed-form, is differentiable and is an order of magnitude faster to compute than the existing methods even for deep networks. In addition to theoretical bounds, we provide numerical results for our certificates over MNIST and compare them with some existing upper bounds.

研究の動機と目的

• 深層学習において、敵対的攻撃に依存しないロバスト性評価の欠如に取り組むこと。既存手法は敵対的攻撃からの上界に依存している。
• 特定の攻撃アルゴリズムに依存しない下界のロバスト性証明を構築し、真のセキュリティ保証を提供すること。
• ReLUネットワークの区分的線形性を活用して、敵対的例からの距離のタイトで計算可能な下界を導出すること。
• 訓練中に使用可能なほど微分可能で効率的な証明を設計すること。
• 特にマルチラベル分類を想定した、深層ReLUネットワークにおけるロバスト性認証のスケーラブルな解決策を提供すること。

提案手法

• 入力空間を多面体領域 S(θ) に分割する活性化パターン θ を定義し、ReLUネットワークが線形関数 dθ(x) = W^(θ)x + b^(θ) として動作する。
• 閉形式解を用いて、与えられた入力 u からその局所的多面体 S(θ) 内の意思決定境界までの最小距離を計算することで、シンプルプレックス証明を構築する。
• S(θ) 内の線形関数 dθ(x) を用いて、予測クラスを反転させる最小の摂動を計算し、境界が有効かつ保守的であることを保証する。
• 多面体の面の幾何構造に基づく二次的な境界としての意思決定境界証明を導出する。この手法は2層ネットワークに適用可能である。
• 凸最適化技術を用いて、シンプルプレックス証明が微分可能かつ効率的に計算可能であることを保証し、訓練パイプラインへの統合を可能にする。
• MNIST および CIFAR-10 における実験で、Fast-Lin、Fast-Lip、CROWN-Ada との比較を通じて、著しい速度向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 特定の敵対的攻撃手法に依存せず、敵対的摂動サイズの真の下界を提供する、ReLUネットワークのロバスト性証明を導出可能か？
• RQ2 ReLUネットワークの区分的線形構造をどのように活用すれば、タイトで効率的なロバスト性証明を計算できるか？
• RQ3 特に深層ネットワークにおいて、提案手法の計算効率は、既存の下界手法と比べてどの程度優れているか？
• RQ4 提案された証明を訓練中に正則化項として使用することで、敵対的ロバスト性の向上が可能か？
• RQ5 反復的攻撃（例：FGSM や DeepFool）からの上界と比較して、提案された下界は真のロバスト性半径にどの程度近いか？

主な発見

• シンプルプレックス証明は、Fast-Lin や Fast-Lip、CROWN-Ada よりも1桁速く計算可能であり、MNIST 3×[1024]、4×[1024]、CIFAR 7×[1024] ネットワークでは、それぞれ 0.0037s、0.0063s、0.0387s の計算時間を示した。
• シンプルプレックス証明は、特に深層ネットワークにおいて、意思決定境界証明よりも顕著に高い下界値を示した。
• 2層MNISTネットワークでは、シンプルプレックス証明の値が、DeepFool や反復的 FGSM の値よりも常に小さく、下界としての有効性が確認された。
• より深いネットワーク（例：MNIST における3層MLP）では、一部の例でシンプルプレックス証明と DeepFool 上界の差が小さく、タイトさが示された。
• シンプルプレックス証明は微分可能で閉形式であるため、敵対的訓練や認証に基づく最適化への統合が可能である。
• 数値的結果から、提案された証明が正しい下界であることが確認された。敵対的攻撃から導出された上界よりも常に小さい値を示した。