[논문 리뷰] When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture

Yichuan Mo, Dongxian Wu외 3명|arXiv (Cornell University)|2022. 10. 14.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

이 논문은 비전 트랜스포머(ViTs)에 대한 적대적 훈련에 대한 종합적인 연구를 제시하며, 강건성 향상을 위해 사전 훈련과 SGD가 필수적인 훈련 구성 요소임을 규명한다. 본문에서는 주의 허용 블록 내의 기울기 또는 훈련 중 패치에 대한 편향을 무작위로 마스킹하는 방식으로 강건성을 향상시키는 두 가지 새로운 아키텍처 인식 기반 방법—주의 랜덤 드롭아웃(ARD)과 편향 랜덤 마스킹(PRM)—을 제안한다. 이는 CIFAR-10 및 ImageNet-1K 벤치마크에서 최고 성능을 기록하며, 적대적 훈련에 특화된 최신 기술을 확립한다.

ABSTRACT

Vision Transformers (ViTs) have recently achieved competitive performance in broad vision tasks. Unfortunately, on popular threat models, naturally trained ViTs are shown to provide no more adversarial robustness than convolutional neural networks (CNNs). Adversarial training is still required for ViTs to defend against such adversarial attacks. In this paper, we provide the first and comprehensive study on the adversarial training recipe of ViTs via extensive evaluation of various training techniques across benchmark datasets. We find that pre-training and SGD optimizer are necessary for ViTs' adversarial training. Further considering ViT as a new type of model architecture, we investigate its adversarial robustness from the perspective of its unique architectural components. We find, when randomly masking gradients from some attention blocks or masking perturbations on some patches during adversarial training, the adversarial robustness of ViTs can be remarkably improved, which may potentially open up a line of work to explore the architectural information inside the newly designed models like ViTs. Our code is available at https://github.com/mo666666/When-Adversarial-Training-Meets-Vision-Transformers.

연구 동기 및 목표

• 적대적 훈련 하에서 비전 트랜스포머(ViTs)의 적대적 강건성을 향상시키는 데 핵심적인 훈련 기법을 규명하는 것.
• ViT의 고유한 아키텍처 구성 요소가 표준 훈련 레시피를 넘어서 강건성을 향상시키는 데 어떻게 활용될 수 있는지 탐구하는 것.
• 적대적 훈련을 위한 실용적이고 경험적으로 검증된 벤치마크(즉, '트릭의 가방')를 제공하는 것.
• 기울기 및 편향 마스킹을 기반으로 한 새로운 아키텍처 인식 방어 기법—ARD와 PRM—을 제안하고 평가하는 것.

제안 방법

• CIFAR-10 및 ImageNet-1K에서 적대적 훈련 하에 다양한 훈련 기법(최적화기, 사전 훈련, 데이터 증강, 손실 함수)을 ViTs에 대해 경험적으로 평가한다.
• 백프로파게이션 중 특정 주의 블록의 기울기를 무작위로 마스킹하여 특징 학습을 정규화하는 주의 랜덤 드롭아웃(ARD)을 제안한다.
• 적대적 예제 생성 중 특정 이미지 패치에 대한 편향을 무작위로 마스킹하여 강건성을 향상시키는 편향 랜덤 마스킹(PRM)을 도입한다.
• ARD와 PRM을 초기 훈련 에포크 동안 워밍업 전략으로 적용하며, 양자 모두에 공통의 하이퍼파라미터 $ n_w $ 를 사용한다.
• TRADES 및 MART와 같은 기존 방어 기법과 ARD 및 PRM을 조합하여 일반화 능력과 효과성을 평가한다.
• 하이퍼파라미터 $ n_w $ 에 대한 분석 실험을 수행하며, ARD와 PRM에 대해 별도의 최적화를 수행하여 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 최적화기 선택, 사전 훈련, 또는 데이터 증강과 같은 훈련 기법 중 ViTs의 적대적 강건성 향상에 있어 가장 중요한 요소는 무엇인가?
• RQ2 ViT의 고유한 아키텍처 설계, 특히 자기주의 주의 메커니즘은 CNN과 비교해 적대적 강건성에 어떤 영향을 미치는가?
• RQ3 ViT의 아키텍처 인덕티브 바이어스는 표준 적대적 훈련을 넘어서 강건성을 향상시키는 데 활용될 수 있는가?
• RQ4 워밍업 에포크 수와 표준 방어 기법과의 상호작용을 고려할 때 ARD 및 PRM의 최적 설정은 무엇인가?
• RQ5 ARD와 PRM의 조합은 다양한 ViT 아키텍처와 데이터셋에서 일관되게 강건성을 향상시키는가?

주요 결과

• 사전 훈련과 SGD 최적화기의 사용은 ViTs에서 높은 적대적 강건성을 달성하는 데 필수적이며, AdamW는 적대적 훈련 환경에서 성능이 열등하다.
• ARD 및 PRM를 적용한 적대적 훈련은 DeiT-Ti 모델에서 CIFAR-10의 PGD-100 공격에 대해 최대 1.63% 향상된 강건성을 기록하며, 다양한 모델에서 일관된 성능 향상을 보였다.
• TRADES 및 MART와 ARD 및 PRM를 조합하면 최신 기술 성능을 달성하였으며, DeiT-Ti에서 AA 강건성은 각각 0.77% 및 1.63% 향상되었다.
• ARD는 긴 워밍업 기간($ n_w $)과 양의 상관관계를 보이며, PRM는 최적의 $ n_w $ 를 초과하면 수익 감소 현상이 나타나, 서로 다른 민감도 프로필을 보였다.
• 제안된 방법은 하이퍼파라미터 조정에 대해 강건하며, $ n_w \in \{10,15,20\} $ 범위 내에서 성능 향상이 안정적으로 유지되어 쉽게 구현 가능했다.
• ARD 및 PRM는 DeiT-Ti, ConViT-Ti, Swin-Ti 등 다양한 ViT 아키텍처에서 효과적이며, 일반화 능력을 입증했다.