[論文レビュー] Robust Principles: Architectural Design Principles for Adversarially Robust CNNs

Shengyun Peng, Weilin Xu+7 more|arXiv (Cornell University)|Aug 30, 2023

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本論文は、CNNの敵対的頑健性を、データセット（CIFAR-10/100およびImageNet）と敵対的学習手法全体で改善する一般化可能な設計原則の一式を特定・検証し、CIFARで1–3ポイント、ImageNetで4–9ポイントの改善を達成する。

ABSTRACT

Our research aims to unify existing works' diverging opinions on how architectural components affect the adversarial robustness of CNNs. To accomplish our goal, we synthesize a suite of three generalizable robust architectural design principles: (a) optimal range for depth and width configurations, (b) preferring convolutional over patchify stem stage, and (c) robust residual block design through adopting squeeze and excitation blocks and non-parametric smooth activation functions. Through extensive experiments across a wide spectrum of dataset scales, adversarial training methods, model parameters, and network design spaces, our principles consistently and markedly improve AutoAttack accuracy: 1-3 percentage points (pp) on CIFAR-10 and CIFAR-100, and 4-9 pp on ImageNet. The code is publicly available at https://github.com/poloclub/robust-principles.

研究の動機と目的

• CNNの敵対的頑健性に影響を与える一般化可能な設計原則を統合・合成する。
• 深さ/幅のスケーリング、ステム設計、SEブロック、活性化選択に関する文献上の相反する知見を解消する。
• 複数のデータセット、モデルサイズ、および敵対的訓練手法全体で頑健性の改善を示す。

提案手法

• CNNとTransformersにわたって、4つの設計要素（深さ/幅、ステム段階、Squeeze-and-Excitationブロック、活性化関数）を調査する。
• WD比を用いた柔軟な深さ-幅のスケーリング規則を提案・検証し、最適なWD範囲を特定する。
• 後置ダウンサンプリングを含む畳み込みステムとパッチファイステムを比較し、頑健性への影響を評価する。
• SEブロックと非パラメトリック平滑活性化（SiLU/GELU）をReLUと比較し、ハイパーパラメータスイープや大規模実験（ImageNet）を通じて検討する。
• 複数のATレシピ（SAT、TRADES、Fast-AT、MART、拡散拡張AT）と攻撃（PGDおよびAutoAttack）で頑健性を評価する。
• 3つの設計原則を頑健なCNN（Ra）に組み込み、ResNet/WRN設計空間におけるCIFARとImageNetでの一般化を検証する。

Figure 1 : We synthesize a suite of generalizable architectural design principles to robustify CNNs , spanning a network’s macro and micro designs: (A) optimal range for depth and width configurations, (B) preferring convolutional over patchify stem stage, and (C) robust residual block design by ado

実験結果

リサーチクエスチョン

• RQ1 深さ/幅の構成、ステム設計、SEブロック、活性化選択は、大規模データセットにわたって敵対的頑健性に一貫した影響を与えるか。
• RQ2 CIFARを超えて、さまざまなAT手法とモデルファミリに対して、統一された設計原則のセットが頑健性を改善できるか。
• RQ3 提案された原則が、単一の頑健なアーキテクチャに組み合わされたとき、どのように相互作用するか。
• RQ4 これらの原則は、CNNから異なるネットワーク設計空間（ResNet/WRN）およびTransformerへ一般化できるか。

主な発見

• 最適なWD比範囲[7.5, 13.5]は、データセットとAT手法全体で頑健性の改善をもたらすが、この範囲外ではWDとクリーン精度およびPGD精度の両方に対して負の相関が見られる。
• 後置下げダウンサンプリングを含む畳み込みステムは、過度なダウンサンプリングと重ね合わせた畳み込みのため、パッチファイステムより頑健性が優れる。
• Squeeze-and-Excitationブロックは、ImageNetで r=4 のとき頑健性を向上させるが、より大きな r 値（例: CIFARで r≥32）では頑健性が低下する。
• 非パラメトリック平滑活性化（SiLU/GELU）は、CIFARとImageNetの両方でReLUより一貫して頑健性を向上させ、多くの設定でパラメトリック活性化を上回る。
• 3原則をResNet-50およびWRNアーキテクチャに累積適用すると頑健性の一貫した向上をもたらし、例としてRa ResNet-50はベースラインと比較してAAの利得が+1.80 (PGD2)、+3.09 (PGD4)、+3.28 (PGD8)、+2.65 (AutoAttack)となり、Ra WRN-101-2はImageNetで著しい利得を達成する。
• Raモデルは、パラメータ予算と設計空間を横断してImageNetでAutoAttack精度を4–9ポイント改善する（例: Ra WRN-101-2 vs WRN-101-2）。
• CIFAR-10/100では、RaはAT手法と拡散拡張ATを横断して1–3ポイントの改善をもたらし、Diff. 1Mを上回る顕著な向上を含む。

(a) Depth and Width Configurations