[論文レビュー] Adversarial Examples Improve Image Recognition

Cihang Xie, Mingxing Tan+4 more|arXiv (Cornell University)|Nov 21, 2019

Adversarial Robustness in Machine Learning参考文献 54被引用数 48

ひとこと要約

AdvProp は、専用の補助バッチ正規化を組み合わせた敵対的サンプルの使用が、クリーン画像の精度を向上させ、歪んだ画像ベンチマークでの堅牢性を大幅に高め、EfficientNet-B8 での ImageNet の最先端性能を達成し、ImageNet-C、ImageNet-A、Stylized-ImageNet で強力な利益を得ることを示しています。

ABSTRACT

Adversarial examples are commonly viewed as a threat to ConvNets. Here we present an opposite perspective: adversarial examples can be used to improve image recognition models if harnessed in the right manner. We propose AdvProp, an enhanced adversarial training scheme which treats adversarial examples as additional examples, to prevent overfitting. Key to our method is the usage of a separate auxiliary batch norm for adversarial examples, as they have different underlying distributions to normal examples. We show that AdvProp improves a wide range of models on various image recognition tasks and performs better when the models are bigger. For instance, by applying AdvProp to the latest EfficientNet-B7 [28] on ImageNet, we achieve significant improvements on ImageNet (+0.7%), ImageNet-C (+6.5%), ImageNet-A (+7.0%), Stylized-ImageNet (+4.8%). With an enhanced EfficientNet-B8, our method achieves the state-of-the-art 85.5% ImageNet top-1 accuracy without extra data. This result even surpasses the best model in [20] which is trained with 3.5B Instagram images (~3000X more than ImageNet) and ~9.4X more parameters. Models are available at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.

研究の動機と目的

• 対する攻撃からの防御だけでなく、敵対的サンプルを活用して画像認識性能を向上させることを動機づける。
• 補助バッチ正規化を介してクリーンデータと敵対データの分布の不一致を解決する AdvProp を提案する。
• AdvProp が ImageNet および歪んだデータセット上で、特に大きなネットワークで、さまざまなモデルの性能を改善することを示す。

提案手法

• 敵対的学習を二つの分布学習問題として捉え、クリーンと敵対的統計を分離する補助バッチ正規化を導入する。
• 補助 BN フレームワーク内で PGD を用いてオンラインで敵対的サンプルを生成する。
• 主 BN および補助 BN を用いて、それぞれクリーンバッチと敵対的バッチの損失を個別に計算する混合目的で訓練する。
• 推論時には補助 BN を排除して従来のアーキテクチャを維持する。
• より細かな分離のために複数の補助 BN への拡張も検討可能（例：AutoAugment パス）。
• ImageNet および ImageNet-C、ImageNet-A、Stylized-ImageNet のような歪んだデータセットで EfficientNet 系および ResNet を横断的に評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセット上で、敵対的サンプルを用いて監視学習の性能を向上させることは可能か。
• RQ2 補助 BN による分布の分離は、クリーンデータと敵対データの混合から効果的に学習を可能にするか。
• RQ3 標準的な敵対的訓練と比較して、AdvProp はネットワーク容量と堅牢性ベンチマーク（ImageNet-C、ImageNet-A、Stylized-ImageNet）でどのように性能を発揮するか。
• RQ4 攻撃者の強さと補助 BN の設計はモデル性能にどのような影響を与えるか。

主な発見

• AdvProp は vanilla 訓練より ImageNet の top-1 精度を改善し、ネットワークが大きいほど利益が大きい（例：EfficientNet-B7 は top-1 が 85.2% に達する）。
• AdvProp は顕著な堅牢性向上を達成：EfficientNet-B7 の ImageNet-C mCE が 52.9%、ImageNet-A の精度が 44.7%、Stylized-ImageNet の精度が 26.6%（追加データなしで報告ベスト）。
• 補助バッチ正規化はクリーンと敵対的分布を分離し、両ドメインからの効果的な学習を可能にし、特に大規模モデルで従来の敵対訓練を上回る。
• 歪んだデータセットでは、AdvProp は大規模モデルでの改善がクリーン ImageNet より顕著で、例えば EfficientNet-B7 は ImageNet-C、ImageNet-A、Stylized-ImageNet で強い利得を示す。
• 細粒度のバリアント（複数の補助 BN）や AutoAugment との組み合わせは、特に小規模モデルでの性能をさらに高める。