[論文レビュー] Adversarial Noise Layer: Regularize Neural Network By Adding Noise

Zhonghui You, Jinmian Ye+3 more|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、訓練中に中間層の活性化に勾配に基づく adversarial noise を注入することで、CNN を正則化する Adversarial Noise Layer (ANL) 及びその効率的バージョンである Class Adversarial Noise Layer (CANL) を提案する。この手法は一般化性能と耐性を向上させ、CIFAR-10、CIFAR-100、ImageNet で最先端の性能を達成しており、ANL/CANL を用いて訓練されたモデルは、従来の adversarial training と同等の FGSM 攻撃に対する耐性を示している。

ABSTRACT

In this paper, we introduce a novel regularization method called Adversarial Noise Layer (ANL) and its efficient version called Class Adversarial Noise Layer (CANL), which are able to significantly improve CNN's generalization ability by adding carefully crafted noise into the intermediate layer activations. ANL and CANL can be easily implemented and integrated with most of the mainstream CNN-based models. We compared the effects of the different types of noise and visually demonstrate that our proposed adversarial noise instruct CNN models to learn to extract cleaner feature maps, which further reduce the risk of over-fitting. We also conclude that models trained with ANL or CANL are more robust to the adversarial examples generated by FGSM than the traditional adversarial training approaches.

研究の動機と目的

• 過剰なパラメータと限られた訓練データによって引き起こされる深層 CNN の過学習を緩和すること。
• 推論コストを増加させることなくモデルの一般化性能を向上させること。
• 特に FGSM 攻撃に対しての耐性を高めること。
• 主流の CNN アーキテクチャと互換性があり、簡単に統合できる軽量で即席的な正則化技術を開発すること。

提案手法

• ANL は、現在のバッチの勾配を用いて中間層の活性化に adversarial noise を生成し、ハイパーパramータ ε でスケーリングする。
• CANL はクラスごとの勾配をキャッシュすることで、訓練中の計算を削減し、強力な正則化を維持しながら効率を向上させる。
• ノイズは訓練時のみに適用され、推論時には除去されるため、推論にオーバーヘッドが生じない。
• この手法はさまざまな CNN アーキテクチャと互換性があり、畳み込み層の後や入力部に挿入可能である。
• ノイズは要素ごとのクリッピングにより大きさを制御し、不安定化を防ぐ。
• このアプローチは Layerwise Adversarial Training (LAT) に類似しているが、現在のバッチの勾配を使用し、クラス固有の勾配キャッシュを可能にする点で異なる。

実験結果

リサーチクエスチョン

• RQ1 中間層の活性化に adversarial noise を注入することで、CNN の一般化性能が向上するか？
• RQ2 標準的な訓練と比較して、提案手法は FGSM 攻撃に対して耐性を高めることができるか？
• RQ3 従来の正則化手法（Dropout や LAT など）と比較して、ANL/CANL の性能と効率はいかがなものか？
• RQ4 ANL/CANL は、ImageNet のような大規模データセットに対しても効果的に適用可能か？
• RQ5 ANL/CANL の性能向上は、特徴学習の向上によるものか、ノイズ誘発の正則化によるものか？

主な発見

• CIFAR-10 では、ANL がトップ-1正確度 94.3% を達成し、CANL が 94.1% を記録し、ベースラインおよび他の正則化手法を上回った。
• CIFAR-100 では、ANL が 75.4% の正確度を達成し、ベースラインおよび LAT より顕著に優れた性能を示した。
• ImageNet では、CANL 正則化済みの AlexNet がトップ-1正確度 60.52% を達成し、ベースラインの 56.35% より 4.17% の向上を達成した。
• δ=8 の FGSM 攻撃下で、ANL(ε=0.05) は 61.0% の正確度を維持し、adversarial training (AT) の 53.9% と同等の耐性を示した。
• ANL または CANL を用いて訓練されたモデルは、標準的な訓練より FGSM 攻撃に対してより強い耐性を示し、ANL(ε=0.05) は δ=2 で 79.2% の正確度を達成した。
• CANL は、大幅に短縮された訓練時間で ANL とほぼ同等の性能を達成し、高い効率性を示した。