[논문 리뷰] RobustART: Benchmarking Robustness on Architecture Design and Training Techniques

Shiyu Tang, Ruihao Gong외 10명|arXiv (Cornell University)|2021. 09. 11.

Adversarial Robustness in Machine Learning참고 문헌 100인용 수 51

한 줄 요약

RobustART는 적대적, 자연 및 시스템 잡음에 걸친 ImageNet 로버스트니스에 대해 아키텍처 설계와 일반 학습 기법이 어떻게 영향을 미치는지에 대한 최초의 포괄적 벤치마크를 제공합니다.

ABSTRACT

Deep neural networks (DNNs) are vulnerable to adversarial noises, which motivates the benchmark of model robustness. Existing benchmarks mainly focus on evaluating defenses, but there are no comprehensive studies of how architecture design and training techniques affect robustness. Comprehensively benchmarking their relationships is beneficial for better understanding and developing robust DNNs. Thus, we propose RobustART, the first comprehensive Robustness investigation benchmark on ImageNet regarding ARchitecture design (49 human-designed off-the-shelf architectures and 1200+ networks from neural architecture search) and Training techniques (10+ techniques, e.g., data augmentation) towards diverse noises (adversarial, natural, and system noises). Extensive experiments substantiated several insights for the first time, e.g., (1) adversarial training is effective for the robustness against all noises types for Transformers and MLP-Mixers; (2) given comparable model sizes and aligned training settings, CNNs > Transformers > MLP-Mixers on robustness against natural and system noises; Transformers > MLP-Mixers > CNNs on adversarial robustness; (3) for some light-weight architectures, increasing model sizes or using extra data cannot improve robustness. Our benchmark presents: (1) an open-source platform for comprehensive robustness evaluation; (2) a variety of pre-trained models to facilitate robustness evaluation; and (3) a new view to better understand the mechanism towards designing robust DNNs. We will continuously develop to this ecosystem for the community.

연구 동기 및 목표

• 다양한 잡음 유형에서 아키텍처 설계가 로버스트니스에 미치는 영향을 조사합니다.
• 방어 초점에 의존하지 않는 일반 학습 기법이 로버스트니스에 미치는 영향을 평가합니다.
• 모델 계열 전반의 로버스트니스 메커니즘을 명확히 하기 위한 대규모 오픈 소스 벤치마크를 제공합니다.

제안 방법

• 1,000개 이상 모델을 49개 사람 설계 아키텍처와 1,200개 이상의 NAS 유도 서브네트워크에서 정렬된 학습 설정 하에 벤치마크합니다.
• 데이터 증강, 적대적 학습, 모델 최적화에 걸친 10개 이상의 학습 기법을 집계합니다.
• 적대적 잡음, 자연 잡음(ImageNet-C/P/A/O), 시스템 잡음(ImageNet-S)에서 로버스트니스 평가를 수행합니다.
• 적대적 강건성(AR), 최악의 사례 공격 강건성(WCAR), mCE, NmFP, AUPR, NSD 등의 지표를 사용합니다.
• 모델 Zoo, 학습 인터페이스, 잡음 생성기, 평가 API를 포함한 오픈 소스 프레임워크를 제공합니다.

실험 결과

연구 질문

• RQ1 서로 다른 아키텍처 계열(CNN, Transformer, MLP-Mixer)이 다양한 잡음 하에서 로버스트니스가 어떻게 비교되는가?
• RQ2 아키텍처 계열 내/전반에서 모델 크기나 용량을 늘리는 것이 로버스트니스에 어떤 영향을 미치는가?
• RQ3 일반 학습 기법이 방어 특정 방법에 의존하지 않고 로버스트니스에 어떤 영향을 미치는가?
• RQ4 NAS 유래 서브넷이 적대적, 자연, 시스템 잡음 하에서 인간 설계 아키텍처보다 더 로버스트한가?

주요 결과

• 적대적 학습은 Transformer와 MLP-Mixer의 모든 잡음 유형에 대해 로버스트니스를 향상시킨다.
• 비슷한 크기와 설정일 때 CNN은 자연 및 시스템 잡음에서 더 우수하고, Transformer는 적대적 로버스트니스에서 뛰어나다.
• 모델 용량을 증가시키는 것이 일반적으로 대부분의 계열에서 로버스트니스를 향상시키지만, 더 가벼운 아키텍처 중 일부는 더 큰 크기나 더 많은 데이터가 도움이 되지 않는 경우도 있다.
• NAS 샘플 서브넷은 입력 크기가 적대적 로버스트니스를 감소시키는 경향이 있고, 더 깊은 마지막 단계와 더 큰 총 커널 크기가 로버스트니스를 향상시킬 수 있다.
• Transformer의 바뀐 일부 패턴은 CNN에 더 가까운 로버스트니스 패턴을 보이는 경우가 있는데, 이는 윈도우 어텐션 및 계층 구조 같은 아키텍처 특성 때문일 수 있다.