[論文レビュー] Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization

Aishan Liu, Shiyu Tang+5 more|arXiv (Cornell University)|Dec 3, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 5

ひとこと要約

本稿では、複数の$\ell_p$-ノルムで制限された敵対的攻撃に対して強い耐性を示す、Gated Batch Normalization (GBN) と呼ばれる新しい正規化手法を提案する。バッチ正規化層に学習可能なゲート（畳み込み層および全結合層）を統合することで、特徴表現を動的に調整し、CIFAR-10およびTiny-ImageNetにおいて$\ell_1$、$\ell_2$、$\ell_\infty$攻撃のあらゆるタイプに対して最先端のロバスト精度を達成。クリーン精度は83.6%、AutoAttack下でのロバスト精度は最大75.6%を記録した。

ABSTRACT

There has been extensive evidence demonstrating that deep neural networks are vulnerable to adversarial examples, which motivates the development of defenses against adversarial attacks. Existing adversarial defenses typically improve model robustness against individual specific perturbation types (\eg, $\ell_{\infty}$-norm bounded adversarial examples). However, adversaries are likely to generate multiple types of perturbations in practice (\eg, $\ell_1$, $\ell_2$, and $\ell_{\infty}$ perturbations). Some recent methods improve model robustness against adversarial attacks in multiple $\ell_p$ balls, but their performance against each perturbation type is still far from satisfactory. In this paper, we observe that different $\ell_p$ bounded adversarial perturbations induce different statistical properties that can be separated and characterized by the statistics of Batch Normalization (BN). We thus propose Gated Batch Normalization (GBN) to adversarially train a perturbation-invariant predictor for defending multiple $\ell_p$ bounded adversarial perturbations. GBN consists of a multi-branch BN layer and a gated sub-network. Each BN branch in GBN is in charge of one perturbation type to ensure that the normalized output is aligned towards learning perturbation-invariant representation. Meanwhile, the gated sub-network is designed to separate inputs added with different perturbation types. We perform an extensive evaluation of our approach on commonly-used dataset including MNIST, CIFAR-10, and Tiny-ImageNet, and demonstrate that GBN outperforms previous defense proposals against multiple perturbation types (\ie, $\ell_1$, $\ell_2$, and $\ell_{\infty}$ perturbations) by large margins.

研究の動機と目的

• 既存の防御手法が特定の$\\ell_p$-ノルム攻撃にのみ有効であるという限界を是正すること。
• PGD、C&W、AutoAttack、および自然的摂動を含む多様な敵対的攻撃に対してモデルの耐性を向上させること。
• 異なる$\\ell_p$-ノルムの脅威モデルに一般化可能な統一された防御メカニズムを構築し、個別のアーキテクチャを必要としないこと。
• GBNブロック内におけるゲートタイプ（畳み込み層対全結合層）および配置が耐性と一般化性能に与える影響を調査すること。

提案手法

• 学習可能なゲート（畳み込み層または全結合層）をバッチ正規化層に統合し、各層ごとにバッチ統計を動的に調整することで、ドメイン特化型の特徴表現を可能にするGated Batch Normalization (GBN) を導入。
• 不変性と表現力のバランスを図るため、最初のGBNブロックには畳み込みゲート、以降のブロックには全結合ゲートを採用するハイブリッドゲート戦略を採用。
• $\\ell_1$、$\\ell_2$、$\\ell_\infty$ノルムのPGD攻撃を用いた敵対的訓練を実施。敵対的ミニバッチを生成する際、BNは評価モードを維持。
• 敵対的データの多様性を高めるために、訓練中はすべての4つのBNブランチを経由して勾配を流すように設計し、一般化性能を向上。
• クリーンデータと複数ノルムの敵対的例を組み合わせて訓練し、各攻撃タイプに応じてハイパーパrameterを最適化。
• MNIST、CIFAR-10、Tiny-ImageNetの各データセットで、PGD、C&W、BBA、MI-FGSM、SPSA、NATTACK、AutoAttackを含む包括的な攻撃スイートに対してGBNの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 統一された正規化手法が、複数の$\\ell_p$-ノルムで制限された敵対的攻撃を同時に防御できるか？
• RQ2 GBNブロック内におけるゲートタイプ（畳み込み層対全結合層）および配置の選択が、耐性と一般化性能に与える影響は何か？
• RQ3 敵対的訓練中にすべてのBNブランチを経由して勾配を流すことで、防御性能が向上するか？
• RQ4 AutoAttack や C&W といった強力な攻撃に対して、GBNは既存の防御手法（例：AVG、MAX、MSD、PAT、TRADES）と比較して優れた性能を示すか？
• RQ5 GBNは多様な攻撃タイプにわたって高いクリーン精度を維持しながら、強力な耐性を達成できるか？

主な発見

• WideResNet-28-10において、GBNは83.6%のクリーン精度と75.6%のAutoAttack下でのロバスト精度を達成し、すべてのベースラインを上回った。
• CIFAR-10では、GBNはBBA攻撃下で71.1%、PGD-$\\ell_2$攻撃下で70.4%のロバスト精度を記録。PAT や TRADES よりも優れた性能を示した。
• GBNブロックにおけるハイブリッドゲート戦略（畳み込み+全結合）は、PGD-$\\ell_1$攻撃下で59.6%のロバスト精度を達成。これは「畳み込みすべて」（30.4%）や「全結合すべて」（35.1%）の戦略を著しく上回った。
• ガウスノイズやSPSAといった自然的摂動に対してもGBNは強固な性能を示し、WideResNet-28-10ではそれぞれ77.4%および70.7%のロバスト精度を達成した。
• ResNet-20ではC&W-$\\ell_2$攻撃下で74.9%のロバスト精度を記録。PAT（50.9%）やTRADES（59.5%）を上回った。
• PGD-$\\ell_\infty$攻撃下では、WideResNet-28-10で60.2%の精度を達成。MAX（44.1%）やAVG（49.6%）を上回り、優れた耐性を示した。