[論文レビュー] GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples

Julia Lust, Alexandru Paul Condurache|arXiv (Cornell University)|Apr 20, 2020

Adversarial Robustness in Machine Learning参考文献 14被引用数 5

ひとこと要約

GraNは、滑らかにされた入力に対するネットワーク重みに関する勾配のL1ノルムを計算することで、敵対的例および誤分類例を識別するパラメータおよび時間に優れた勾配ノルムベースの検出器である。MNIST、CIFAR-10、SVHNのあらゆるデータセットでSOTAのAUC ROCスコア（90–100％）を達成しており、LIDの0.01％のパラメータと0.5％の実行時間で実現しており、自律走行などのリソース制約のある応用に最適である。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial examples and other data perturbations. Especially in safety critical applications of DNNs, it is therefore crucial to detect misclassified samples. The current state-of-the-art detection methods require either significantly more runtime or more parameters than the original network itself. This paper therefore proposes GraN, a time- and parameter-efficient method that is easily adaptable to any DNN. GraN is based on the layer-wise norm of the DNN's gradient regarding the loss of the current input-output combination, which can be computed via backpropagation. GraN achieves state-of-the-art performance on numerous problem set-ups.

研究の動機と目的

• 自律走行などの安全が求められる応用分野において、敵対的および誤分類例を効率的かつ低オーバーヘッドで検出できる検出器の不足に対処すること。
• 特にリアルタイムでリソースが制限される環境において、過剰なパラメータや実行時間が必要となる既存の検出器の限界を克服すること。
• 高い検出性能を維持しつつ、パラメータ効率的かつ高速であるような手法を開発すること。
• 計算およびメモリのオーバーヘッドを最小限に抑えることで、実世界のDNNシステムにおける堅牢な検出の実用的導入を可能にすること。

提案手法

• 学習ステップに類似したバックプロパゲーションを用いて、わずかに滑らかにされた入力に対する損失関数のネットワーク重みに関する勾配を計算する。
• 各層の勾配のL1ノルムを計算することで、層ごとの勾配を特徴ベクトルに変換する。
• 勾配ノルム特徴量上で訓練された軽量なロジスティック回帰モデルを用いて、誤分類の確率を予測する。
• 勾配計算の前に入力にガウスノイズ（σ = 0.4）を適用することで、耐性および検出性能を向上させる。
• 誤分類例は通常、正しく分類された例よりも大きな勾配ノルムを示すという洞察を活用する。
• ガウスローパassフィルタリングによる摂動除去ステップを統合し、特にノイズに類似した摂動に対して効果的に誤分類された入力を是正する。

実験結果

リサーチクエスチョン

• RQ1 既存の手法と比較して、はるかに少ないパラメータと短い実行時間で、勾配ノルムベースの検出器がSOTAの性能を達成できるか。
• RQ2 GraNの性能は、多様な敵対的攻撃およびデータセットにおいてLIDや他のSOTA検出器と比較してどの程度優れているか。
• RQ3 ガウススムージングが勾配ノルムアプローチの耐性および検出精度をどの程度向上させるか。
• RQ4 GraNは、計算オーバーヘッドを最小限に抑えつつ、敵対的例および非敵対的誤分類を効果的に検出できるか。
• RQ5 LIDと比較して、CIFAR-10やSVHNのような複雑なデータセットにおいて、パラメータおよび実行時間の効率性はどの程度スケーリングするか。

主な発見

• MNIST、CIFAR-10、SVHNの全テストデータセットおよび攻撃タイプにおいて、GraNは90％から100％のAUC ROCスコアを達成しており、MNISTの単純さのためわずかな性能低下を示すにとどまる。
• CIFAR-10において、GraNは7つの攻撃シナリオのうち5つでLIDを上回り、CW攻撃では99.90％、JSMAでは99.42％のAUCを記録した。
• GraNのロジスティック回帰ヘッドにはたった35パラメータしかなく、LIDの307,266パラメータの0.01％にすぎない。
• CIFAR-10におけるGraNの実行時間は、明示的な最適化を行わなくてもLIDの0.5％であり、LIDの活性化キャッシュ使用時でもLIDの50％未満に保たれる。
• ガウススムージングによる摂動除去ステップは、特にセンサーノイズに類似した摂動に対して誤分類された入力を効果的に是正し、他の敵対的攻撃に対しても一般化しやすい。
• データセットの複雑さが高くなるほど、GraNの性能は向上し、複雑なデータセットにおける高次元の特徴多様性が誤分類例のための強い勾配信号を生み出す。