[논문 리뷰] Robust Principles: Architectural Design Principles for Adversarially Robust CNNs

Shengyun Peng, Weilin Xu외 7명|arXiv (Cornell University)|2023. 08. 30.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 일반화 가능한 설계 원칙의 모음을 식별하고 검증하여 CNN의 적대적 강건성을 CIFAR-10/100 및 ImageNet 데이터셋과 적대적 학습 방법 전반에서 향상시키고, CIFAR에서 1–3 퍼센트 포인트, ImageNet에서 4–9 포인트의 이득을 달성한다.

ABSTRACT

Our research aims to unify existing works' diverging opinions on how architectural components affect the adversarial robustness of CNNs. To accomplish our goal, we synthesize a suite of three generalizable robust architectural design principles: (a) optimal range for depth and width configurations, (b) preferring convolutional over patchify stem stage, and (c) robust residual block design through adopting squeeze and excitation blocks and non-parametric smooth activation functions. Through extensive experiments across a wide spectrum of dataset scales, adversarial training methods, model parameters, and network design spaces, our principles consistently and markedly improve AutoAttack accuracy: 1-3 percentage points (pp) on CIFAR-10 and CIFAR-100, and 4-9 pp on ImageNet. The code is publicly available at https://github.com/poloclub/robust-principles.

연구 동기 및 목표

• CNN의 적대적 강건성에 영향을 주는 일반화 가능한 설계 원칙을 종합한다.
• 깊이/너비 스케일링, 스템 디자인, SE 블록, 활성화 선택에 관한 문헌의 상충되는 결과를 해결한다.
• 여러 데이터셋, 모델 크기, 적대적 학습 방법에 걸쳐 강건성 향상을 입증한다.

제안 방법

• CNN과 Transformer를 대상으로 깊이/너비, 스템 스테이지, 압축-확장 블록(Squeeze-and-Excitation blocks), 활성화 함수의 네 가지 설계 구성요소를 조사한다.
• WD 비율(width-depth) 규칙을 사용한 유연한 깊이-너비 스케일링 규칙을 제안하고 최적의 WD 범위를 식별한다.
• 지연된 다운샘플링(postponed downsampling)을 포함하는 패치화 스템과 컨볼루션 스템을 비교하여 강건성 영향 평가를 수행한다.
• SE 블록과 비모수 매끄러운 활성화(SiLU/GELU)와 ReLU 간의 차이를 하이퍼파라미터 스윕 및 대규모 실험(ImageNet)을 통해 조사한다.
• 다양한 AT 레시피(SAT, TRADES, Fast-AT, MART, 확산 증강 AT)와 공격(PGD 및 AutoAttack)으로 강건성을 평가한다.
• 세 가지 설계 원칙을 한데 모아 Ra라는 강건한 CNN을 구성하고 CIFAR 및 ImageNet의 ResNet/WRN 설계 공간에서 일반화를 테스트한다.

Figure 1 : We synthesize a suite of generalizable architectural design principles to robustify CNNs , spanning a network’s macro and micro designs: (A) optimal range for depth and width configurations, (B) preferring convolutional over patchify stem stage, and (C) robust residual block design by ado

실험 결과

연구 질문

• RQ1 깊이/너비 구성, 스템 설계, SE 블록, 활성화 선택이 대규모 데이터셋 전반에서 적대적 강건성에 일관된 영향을 미치는가?
• RQ2 CIFAR를 넘어 다양한 AT 방법 및 모델 계열에서 강건성을 개선하는 통일된 설계 원칙 세트가 있는가?
• RQ3 제안된 원칙들이 하나의 강건한 아키텍처에서 결합될 때 상호 작용은 어떠한가?
• RQ4 CNN에서 다른 네트워크 설계 공간(ResNet/WRN) 및 Transformer로 일반화되는가?

주요 결과

• 최적 WD 비율 범위 [7.5, 13.5]가 데이터셋 및 AT 방법 전반에 걸쳐 강건성 이득을 제공하며, 이 범위를 벗어날 때 WD와 깨끗한 정확도 및 PGD 정확도 간에 음의 상관관계가 나타난다.
• 지연된 다운샘플링을 갖춘 컨볼루션 스템은 패치화 스템보다 강건성 측면에서 우수하며, 이는 덜 공격적인 다운샘플링과 중첩된 컨볼루션 때문입니다.
• Squeeze-and-Excitation 블록은 r=4일 때 ImageNet에서 강건성을 향상시키나, CIFAR에서 r≥32와 같은 더 큰 값에서는 강건성이 감소하는 경향이 나타난다.
• 비모수적 매끄러운 활성화(SiLU/GELU)는 ReLU에 비해 CIFAR 및 ImageNet 전반에 걸쳐 일관되게 강건성을 향상시키고, 대부분의 설정에서 매개 활성화보다 우수하다.
• 세 가지 원칙을 ResNet-50 및 WRN 아키텍처에 cumulatively 적용하면 일관된 강건성 이득이 나타나며, 예를 들어 Ra ResNet-50은 baseline 대비 AA 이득이 +1.80(PGD2), +3.09(PGD4), +3.28(PGD8), +2.65(AutoAttack)이고 Ra WRN-101-2는 ImageNet에서 상당한 이득을 달성한다.
• Ra 모델은 파라미터 예산 및 설계 공간 전반에서 ImageNet의 AutoAttack 정확도에서 4–9 퍼센트 포인트 향상을 달성한다(예: Ra WRN-101-2 대 WRN-101-2).
• CIFAR-10/100에서 Ra는 AT 방법 및 확산 증강 AT를 포함하여 1–3 퍼센트 포인트의 개선을 제공하며, Diff. 1M 대비 주목할 만한 증가가 있다.

(a) Depth and Width Configurations