[論文レビュー] Deep Defense: Training DNNs with Improved Adversarial Robustness

Ziang Yan, Yiwen Guo+1 more|arXiv (Cornell University)|Feb 23, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 52

ひとこと要約

Deep Defenseは、分類器の学習目的に統合された摂動ベースの正則化項を導入し、 benignデータに対する精度を維持しつつ、敵対的攻撃に対するDNNの堅牢性を向上させる。

ABSTRACT

Despite the efficacy on a variety of computer vision tasks, deep neural networks (DNNs) are vulnerable to adversarial attacks, limiting their applications in security-critical systems. Recent works have shown the possibility of generating imperceptibly perturbed image inputs (a.k.a., adversarial examples) to fool well-trained DNN classifiers into making arbitrary predictions. To address this problem, we propose a training recipe named "deep defense". Our core idea is to integrate an adversarial perturbation-based regularizer into the classification objective, such that the obtained models learn to resist potential attacks, directly and precisely. The whole optimization problem is solved just like training a recursive network. Experimental results demonstrate that our method outperforms training with adversarial/Parseval regularizations by large margins on various datasets (including MNIST, CIFAR-10 and ImageNet) and different DNN architectures. Code and models for reproducing our results are available at https://github.com/ZiangYan/deepdefense.pytorch

研究の動機と目的

• セキュリティクリティカルタスクにおける敵対的脆弱性に対処することによって、堅牢なDNNを動機づける。
• 敵対的事例から直接学習する摂動ベース正則化項を提案する。
• 攻撃者への耐性を高めつつ、 benignデータの精度を維持または向上させる。
• 効率的な最適化を可能にする微分可能でネットワークベースの定式化を提供する。

提案手法

• 敵対的摂動のノルムを罰する正則化目的関数を定式化する。
• Delta_xを計算するため、DeepFoolに基づくモジュールを用いて敵対的摂動を近似する。
• 摂動計算を逆伝播/再帰的ネットワークとして表現し、共同最適化を行う。
• 攻撃が難しい正しく分類されたサンプルを強調する指数型関数Rを用いる。
• 正しく分類されたサンプルと誤分類サンプルをサンプル固有の重みづけでバランスを取り、頑健性と精度を調整する。
• アーキテクチャ間の転移性を評価するため、スクラッチから訓練するのではなく既存モデルを細調整する。

実験結果

リサーチクエスチョン

• RQ1 訓練時に摂動ベースの正則化項を導入することで、標準データセットとアーキテクチャ全体にわたり敵対攻撃への頑健性が向上するか。
• RQ2 Deep Defenseは、MNIST・CIFAR-10・ImageNetで benignセットの精度を損なうことなく頑健性を向上させることができるか。
• RQ3 DeepFoolやFGSのような強力な攻撃に対して、 adversarial training および Parseval training と比較して方法の差はどうか。
• RQ4 ハイパーパラメータと層別正則化が頑健性と精度に与える影響。
• RQ5 大規模ネットワークとデータセットへスケール可能で、計算的に妥当か。

主な発見

Dataset	Network	Method	Acc.	ρ2	Acc.@ 0.2ε_ref	Acc.@ 0.5ε_ref	Acc.@ 1.0ε_ref
MNIST	MLP	Reference	98.31%	1.11e-1	72.76%	29.08%	3.31%
MNIST	MLP	Par. Train	98.32%	1.11e-1	77.44%	28.95%	2.96%
MNIST	MLP	Adv. Train I	98.49%	1.62e-1	87.70%	59.69%	22.55%
MNIST	MLP	Ours	98.65%	2.25e-1	95.04%	88.93%	50.00%
MNIST	LeNet	Reference	99.02%	2.05e-1	90.95%	53.88%	19.75%
MNIST	LeNet	Par. Train	99.10%	2.03e-1	91.68%	66.48%	19.64%
MNIST	LeNet	Adv. Train I	99.18%	2.63e-1	95.20%	74.82%	41.40%
MNIST	LeNet	Ours	99.34%	2.84e-1	96.51%	88.93%	50.00%
CIFAR-10	ConvNet	Reference	79.74%	2.59e-2	61.62%	37.84%	23.85%
CIFAR-10	ConvNet	Par. Train	80.48%	3.42e-2	69.19%	50.43%	22.13%
CIFAR-10	ConvNet	Adv. Train I	80.65%	3.05e-2	65.16%	45.03%	35.53%
CIFAR-10	ConvNet	Ours	81.70%	5.32e-2	72.15%	59.02%	50.00%
CIFAR-10	NIN	Reference	89.64%	4.20e-2	75.61%	49.22%	33.56%
CIFAR-10	NIN	Par. Train	88.20%	4.33e-2	75.39%	49.75%	17.74%
CIFAR-10	NIN	Adv. Train I	89.87%	5.25e-2	78.87%	58.85%	45.90%
CIFAR-10	NIN	Ours	89.96%	5.58e-2	80.70%	70.73%	50.00%
ImageNet	AlexNet	Reference	56.91%	2.98e-3	54.62%	51.39%	46.05%
ImageNet	AlexNet	Ours	57.11%	4.54e-3	55.79%	53.50%	50.00%
ImageNet	ResNet	Reference	69.64%	1.63e-3	63.39%	54.45%	41.70%
ImageNet	ResNet	Ours	69.66%	2.43e-3	65.53%	59.46%	50.00%

• Deep Defenseは、MNIST, CIFAR-10, ImageNet全体で、堅牢性指標で競合他手法を一貫して上回りつつ、 benign精度を維持または向上させる。
• MNISTでは、Ourは98.65%の benign精度を達成、Referenceの98.31%に対し、DeepFoolとFGS攻撃に対してははるかに高い頑健性。
• LeNetでは、Ourは benign accuracyを99.34%に引き上げ、Adversarial/Parsevalベースラインよりも強力な頑健性を達成。
• CIFAR-10 (ConvNet, NIN)でbenign精度を高く、頑健性も著しく向上。例: Acc.@1.0ε_refは両ネットで50.00%。
• ImageNet (AlexNet, ResNet)では、 benign精度の向上は控えめだが、DeepFool頑健性は約1.5倍向上。
• 指數重み付けRを用いたハイブリッド正則化は、脆弱で正しく分類されたサンプルに頑健性の焦点を当て、全体性能を損なわない。