[論文レビュー] Smooth Adversarial Training

Cihang Xie, Mingxing Tan+3 more|arXiv (Cornell University)|Jun 25, 2020

Adversarial Robustness in Machine Learning参考文献 82被引用数 99

ひとこと要約

SATはReLUを滑らかな活性化へ置換し、追加計算なしで精度を犠牲にすることなく敵対的訓練を強化し、ImageNetのResNet-50とEfficientNet-L1で頑健性を向上させた。

ABSTRACT

It is commonly believed that networks cannot be both accurate and robust, that gaining robustness means losing accuracy. It is also generally believed that, unless making networks larger, network architectural elements would otherwise matter little in improving adversarial robustness. Here we present evidence to challenge these common beliefs by a careful study about adversarial training. Our key observation is that the widely-used ReLU activation function significantly weakens adversarial training due to its non-smooth nature. Hence we propose smooth adversarial training (SAT), in which we replace ReLU with its smooth approximations to strengthen adversarial training. The purpose of smooth activation functions in SAT is to allow it to find harder adversarial examples and compute better gradient updates during adversarial training. Compared to standard adversarial training, SAT improves adversarial robustness for "free", i.e., no drop in accuracy and no increase in computational cost. For example, without introducing additional computations, SAT significantly enhances ResNet-50's robustness from 33.0% to 42.3%, while also improving accuracy by 0.9% on ImageNet. SAT also works well with larger networks: it helps EfficientNet-L1 to achieve 82.2% accuracy and 58.6% robustness on ImageNet, outperforming the previous state-of-the-art defense by 9.5% for accuracy and 11.6% for robustness. Models are available at https://github.com/cihangxie/SmoothAdversarialTraining.

研究の動機と目的

• robustness requires sacrificing accuracy or larger models.の信念に挑む。
• 活性化の滑らかさが敵対的学習の品質にどのように影響するかを調査する。
• 滑らかな活性化を用いたSmooth Adversarial Training (SAT) を提案し評価する。
• 大規模でスケーラブルなアーキテクチャ全体で頑健性と精度の改善を定量化する。

提案手法

• ReLUを非滑らかな勾配に起因する弱い敵対的学習の原因として特定する。
• SATの前向き・後向き計算の両方に滑らかな活性化関数（例：Softplus、SILU、GELU、ELU系）を導入する。
• PGDベースの攻撃を用いて敵対的な例でモデルを訓練し、攻撃者とオプティマイザの勾配品質を比較する。
• ImageNetのResNet-50とEfficientNet-L1でSATを評価し、CIFAR-10でも評価する。
• 効果を特定するため、逆伝播のみの滑らか化、順伝播の滑らか化、全SATの3条件でアブレーションを行う。
• 従来技術と比較し、ネットワークの深さ・幅・解像度によるスケーラビリティを分析する。

実験結果

リサーチクエスチョン

• RQ1 ReLUの非滑らかな勾配が敵対的学習の性能を低下させるのか？
• RQ2 滑らかな活性化はクリーンな精度を損なわず、計算量を増やさずに敵対的頑健性を改善できるか？
• RQ3 標準的な敵対的訓練と比較して、より大きなネットワークや異なるアーキテクチャ（例：EfficientNet）でSATはどのように機能するか？
• RQ4 前向き・後向きの両方で滑らか化を適用する影響と、一方のみ適用する場合の影響はどうか？

主な発見

ネットワーク	攻撃者の勾配品質を改善	ネットワーク最適化子の勾配品質を改善	精度 (%)	頑健性 (%)	備考
ResNet-50	✗	✗	68.8	33.0	ReLU前向きのベースライン; 標準的な敵対的訓練
ResNet-50	✓	✗	68.3	34.5	+1.5%頑健性（ベースラインに対して）; -0.5% 精度
ResNet-50	✗	✓	69.4	35.8	+2.8%の頑健性（ベースラインに対して）; +0.6% 精度
ResNet-50	✓	✓	68.9	36.9	+3.9%の頑健性（ベースラインに対して）; +0.1% 精度

• SATはResNet-50の頑健性をImageNetで33.0%から42.3%へ向上させ、精度の損失や追加コストなし（精度は0.9%向上）。
• 前向きと後向きの両方で滑らかな活性化を使用すると最良の頑健性向上を得られ（ReLUベースラインより最大3.9%増）
• SATを用いたEfficientNet-L1はImageNetで82.2%の精度と58.6%の頑健性を達成し、従来研究より精度で9.5%、頑健性で11.6%上回る。
• 滑らかな活性化を用いるSATは、テストされたモデル全体で頑健性を一貫して向上させ、精度は同等を維持。
• SATは深さ・幅・解像度のスケーリングを可能にし、複合スケーリングは標準的な敵対的訓練より頑健性を上回る。
• CIFAR-10ではSoftplus/GELU/SmoothReLUがReLUより頑健性を向上させ、ELUは滑らかにしないと不安定になることがある（CELUを用いると安定）。