[論文レビュー] Intriguing properties of adversarial training at scale

Cihang Xie, Alan Yuille|arXiv (Cornell University)|Jun 10, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用数 17

ひとこと要約

本論文は、ImageNetにおけるスケールの大きな adversarial training における2つの重要な特性を明らかにした: (1) ミックスされたクリーンデータと adversarial データで学習する際、バッチ正規化 (BN) はドメインシフトのため、頑健性を損なう。クリーン画像と adversarial 画像の正規化統計を分離することで、頑健性が著しく向上する。 (2) 現在の「深層」ネットワーク、例えば ResNet-152 は、adversarial learning にはまだ浅すぎる。より深いアーキテクチャ（例: ResNet-638）は、顕著かつ一貫した頑健性の向上をもたらす。

ABSTRACT

Adversarial training is one of the main defenses against adversarial attacks. In this paper, we provide the first rigorous study on diagnosing elements of adversarial training, which reveals two intriguing properties. First, we study the role of normalization. Batch normalization (BN) is a crucial element for achieving state-of-the-art performance on many vision tasks, but we show it may prevent networks from obtaining strong robustness in adversarial training. One unexpected observation is that, for models trained with BN, simply removing clean images from training data largely boosts adversarial robustness, i.e., 18.3%. We relate this phenomenon to the hypothesis that clean images and adversarial images are drawn from two different domains. This two-domain hypothesis may explain the issue of BN when training with a mixture of clean and adversarial images, as estimating normalization statistics of this mixture distribution is challenging. Guided by this two-domain hypothesis, we show disentangling the mixture distribution for normalization, i.e., applying separate BNs to clean and adversarial images for statistics estimation, achieves much stronger robustness. Additionally, we find that enforcing BNs to behave consistently at training and testing can further enhance robustness. Second, we study the role of network capacity. We find our so-called "deep" networks are still shallow for the task of adversarial learning. Unlike traditional classification tasks where accuracy is only marginally improved by adding more layers to "deep" networks (e.g., ResNet-152), adversarial training exhibits a much stronger demand on deeper networks to achieve higher adversarial robustness. This robustness improvement can be observed substantially and consistently even by pushing the network capacity to an unprecedented scale, i.e., ResNet-638.

研究の動機と目的

• ImageNetにおける大規模なadversarial trainingの主要な構成要素を診断すること。特に、正規化とネットワーク容量に焦点を当てる。
• バッチ正規化 (BN) が標準的な学習では成功しているにもかかわらず、なぜadversarial頑健性を損なうのかを調査すること。
• 標準的な深層ネットワークと比較して、より深いネットワークがadversarial頑健性の制限を克服できるかどうかを検討すること。
• adversarially trained モデルにおけるクリーン精度と頑健性のトレードオフを評価すること。
• クリーン画像と adversarial 画像が異なるデータドメインから抽出されているという仮説を検証すること。正規化に影響を与える。

提案手法

• 統一されたフレームワークを用いて、ImageNetでadversarial trainingを実施し、バッチ正規化 (BN) を有する・なしのモデルを比較した。
• 二ドメイン正規化戦略を提案した。クリーン画像と adversarial 画像のそれぞれに別々のBNを適用することで、統計を分離した。
• バッチレベルの統計が混ざるのを避けるために、BNをグループ正規化 (GN) に置き換え、画像ごとの正規化を推定した。
• 訓練時と推論時におけるBNの挙動を一貫させることで、頑健性を向上させた。
• adversarial頑健性に与える影響を評価するために、ResNet-152からResNet-638へと段階的にネットワークの深さを増やした。
• PGDベースの攻撃と標準的な評価プロトコルを用いて、頑健性とクリーン精度を測定した。

実験結果

リサーチクエスチョン

• RQ1 なぜ、混合されたクリーンデータと adversarial データで学習する際、バッチ正規化 (BN) がadversarial頑健性を低下させるのか？
• RQ2 クリーン画像と adversarial 画像の正規化統計を分離することで、モデルの頑健性が向上するのか？
• RQ3 訓練時と推論時にBNの挙動を一貫させることで、さらに頑健性が向上するのか？
• RQ4 現在の「深層」ネットワーク、例えば ResNet-152 はadversarial学習に十分な深さを持っているのか、それともより深い容量が必要なのか？
• RQ5 ネットワークの深さを増やすことで、大規模な設定においてadversarial頑健性とクリーン精度の両方にどのような影響を与えるのか？

主な発見

• adversarial training中にクリーン画像を学習データから除外すると、BNベースのモデルで頑健性が18.3%向上した。これは、クリーン画像と adversarial 画像の間でドメインシフトが生じていることを示唆している。
• クリーン画像と adversarial 画像に別々のBNを適用することで正規化統計を分離したところ、混合データに適用する標準的なBNよりも顕著に頑健性が向上した。
• BNをグループ正規化 (GN) に置き換えることで、67.5%のクリーン精度と高い頑健性を達成した。これは、バッチレベルの統計が混ざることで性能が劣化することを示している。
• 訓練時と推論時のBN挙動を一貫させることで、特に分離正規化と組み合わせた場合、さらに頑健性が向上した。
• ResNet-152からResNet-638にネットワークの深さを増やすことで、adversarial攻撃に対する頑健性が2.4%向上した。これは、クリーン学習の0.5%の向上よりも顕著であり、より深いネットワークがadversarial学習に不可欠であることを示している。
• 最も深いモデル、ResNet-638は68.7%のクリーン精度を達成し、ResNet-152よりも6.1%高い。これは、より深いネットワークが標準的な精度の向上にも寄与していることを示している。