[論文レビュー] Training Robust Deep Neural Networks via Adversarial Noise Propagation

Aishan Liu, Xianglong Liu+4 more|arXiv (Cornell University)|Sep 19, 2019

Adversarial Robustness in Machine Learning参考文献 57被引用数 14

ひとこと要約

この論文では、訓練中に隠れ層に敵対的ノイズを注入することで、深層ニューラルネットワークの敵対的例およびデータ破損に対する耐性を向上させる、Adversarial Noise Propagation (ANP) を提案する。バックワードフォワード訓練の適応を用いた層ごとのノイズ注入により、追加の計算コストを伴わず、CIFAR-10、ImageNet、および破損したベンチマークで既存の防御法を著しく上回る性能を発揮するとともに、隠れ表現の感度低下を実現する。

ABSTRACT

In practice, deep neural networks have been found to be vulnerable to various types of noise, such as adversarial examples and corruption. Various adversarial defense methods have accordingly been developed to improve adversarial robustness for deep models. However, simply training on data mixed with adversarial examples, most of these models still fail to defend against the generalized types of noise. Motivated by the fact that hidden layers play a highly important role in maintaining a robust model, this paper proposes a simple yet powerful training algorithm, named \emph{Adversarial Noise Propagation} (ANP), which injects noise into the hidden layers in a layer-wise manner. ANP can be implemented efficiently by exploiting the nature of the backward-forward training style. Through thorough investigations, we determine that different hidden layers make different contributions to model robustness and clean accuracy, while shallow layers are comparatively more critical than deep layers. Moreover, our framework can be easily combined with other adversarial training methods to further improve model robustness by exploiting the potential of hidden layers. Extensive experiments on MNIST, CIFAR-10, CIFAR-10-C, CIFAR-10-P, and ImageNet demonstrate that ANP enables the strong robustness for deep models against both adversarial and corrupted ones, and also significantly outperforms various adversarial defense methods.

研究の動機と目的

• 深層ニューラルネットワークの一般化されたノイズ、特にぼやけや雪などの実世界の破損および敵対的例に対する脆弱性を軽減すること。
• 既存の敵対的防御法で未活用されているが重要な隠れ層表現を活用して、モデルの耐性を向上させること。
• 計算コストの増加なしに耐性を向上させる訓練戦略を開発し、既存の敵対的訓練フレームワークへの効率的な統合を可能とすること。
• ノイズ注入が浅い層と深い層に与える耐性およびクリーン精度への相違を調査すること。

提案手法

• ANPは、標準的なバックプロパゲーションとは別に、変更されたバックワードフォワード訓練プロセスを用いて、訓練中に隠れ層に敵対的ノイズを注入することで、追加の計算負荷を回避する。
• ノイズは制御された方法で層ごとに適用され、中間特徴マップに対してPGD攻撃を用いて生成された摂動が、耐性訓練を模倣する。
• この手法は標準的な敵対的訓練とは直交しており、TRADES や PAT などの既存技術と組み合わせることで、さらなる耐性向上が可能である。
• 隠れ表現の感度は、クリーン入力と摂動付き入力（ε境界内）の間での活性化変化を追跡することで測定され、感度が低いほど耐性が高いことを示す。
• 勾配可視化を用いて人間の知覚との整合性を評価し、ANPで訓練されたモデルは、エッジなどの知覚的に関連のある特徴に一致するより意味のある勾配を生成することが示された。
• 標準的なバックプロパゲーションを再利用しつつ、隠れ層の勾配更新パスを僅かに変更するため、効率的かつスケーラブルな訓練が可能になる。

実験結果

リサーチクエスチョン

• RQ1 隠れ層に敵対的ノイズを注入することで、敵対的攻撃および実世界の破損に対するモデルの耐性にどのような影響を与えるか？
• RQ2 ノイズを注入した場合、浅い層と深い層のどちらがモデルの耐性およびクリーン精度により寄与しているか？
• RQ3 ANPは、既存の敵対的訓練手法と効率的に組み合わせて、さらなる耐性向上が可能か？
• RQ4 ANPは、入力摂動に対する隠れ表現の感度にどのように影響を与えるか？
• RQ5 なぜ浅い層へのノイズ注入は耐性を向上させるが、深い層への注入はクリーン精度を損なうのか？

主な発見

• ANPはCIFAR-10でPGD攻撃（ε=8）下で49.8％の耐性精度を達成し、TRADES や PAT を上回る。
• ImageNetでは、82.1％の高いクリーン精度を維持しながら、FGSM攻撃下で48.5％の耐性精度を達成し、大規模データセットでも有効であることが示された。
• ANPで訓練されたモデルは、全層にわたり、ノイズ（例：PGDや破損）に対してより低い反応を示し、隠れ表現の感度が低いことが確認された。
• 勾配可視化により、ANPで訓練されたモデル（特に上位4層）は、エッジなどの知覚的に関連のある特徴に一致するより意味のある勾配を生成することが確認された。
• 浅い層（例：conv2_relu）は深い層よりも耐性に寄与が大きく、深い層よりも浅い層に摂動を加えることでより高い耐性向上が得られた。
• 理論的および実験的分析により、浅い層に摂動を加えるとクリーン精度に強い悪影響を及ぼすことが示され、耐性と精度のトレードオフが浅い層でより有利であることが示唆された。