[논문 리뷰] A Light Recipe to Train Robust Vision Transformers

Edoardo Debenedetti, Vikash Sehwag외 1명|arXiv (Cornell University)|2022. 09. 15.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 시각 Transformer(ViTs)의 적대적 로버스트성을 크게 향상시키기 위해 무거운 데이터 증강을 더 강력한 가중치 감쇠와 엡실론-워밍업으로 대체하는 경량 훈련 레시피를 제안한다. 이는 ImageNet-1k 및 후속 작업에서 최고 수준의 적대적 정확도를 달성하며, 적대적 훈련 하에서 ResNet-50조차도 능가한다.

ABSTRACT

In this paper, we ask whether Vision Transformers (ViTs) can serve as an underlying architecture for improving the adversarial robustness of machine learning models against evasion attacks. While earlier works have focused on improving Convolutional Neural Networks, we show that also ViTs are highly suitable for adversarial training to achieve competitive performance. We achieve this objective using a custom adversarial training recipe, discovered using rigorous ablation studies on a subset of the ImageNet dataset. The canonical training recipe for ViTs recommends strong data augmentation, in part to compensate for the lack of vision inductive bias of attention modules, when compared to convolutions. We show that this recipe achieves suboptimal performance when used for adversarial training. In contrast, we find that omitting all heavy data augmentation, and adding some additional bag-of-tricks ($\varepsilon$-warmup and larger weight decay), significantly boosts the performance of robust ViTs. We show that our recipe generalizes to different classes of ViT architectures and large-scale models on full ImageNet-1k. Additionally, investigating the reasons for the robustness of our models, we show that it is easier to generate strong attacks during training when using our recipe and that this leads to better robustness at test time. Finally, we further study one consequence of adversarial training by proposing a way to quantify the semantic nature of adversarial perturbations and highlight its correlation with the robustness of the model. Overall, we recommend that the community should avoid translating the canonical training recipes in ViTs to robust training and rethink common training choices in the context of adversarial training.

연구 동기 및 목표

• 비교적 높은 적대적 로버스트성을 갖는 Vision Transformers(ViTs)가 적대적 훈련을 통해 CNNs보다 뛰어난 성능을 낼 수 있는지 조사하기 위해.
• 기존의 표준 ViT 훈련 레시피와는 다름없이, 적대적 훈련을 위해 특별히 설계된 훈련 레시피를 규명하기 위해.
• 표준 ViT 훈련 레시피—특히 무거운 데이터 증강—이 적대적 훈련 중에 로버스트성을 해칠 수 있는 이유를 이해하기 위해.
• 적대적 편향의 의미론적 성격을 정량화하고, 이를 모델의 로버스트성과 연결하기 위해.
• 제안된 레시피가 다양한 ViT 아키텍처로 일반화되고, 더 작은 데이터셋에서 효율적인 피지컬 토닝을 가능하게 하는지 입증하기 위해.

제안 방법

• ViT의 로버스트성에 대한 데이터 증강, 가중치 감쇠, 적대적 훈련 하이퍼파라미터의 영향을 평가하기 위해 ImageNet-1k의 일부를 대상으로 체계적인 아블레이션 연구를 수행하였다.
• 기존의 표준 ViT 훈련 방식과는 반대로, 강력한 데이터 증강(예: mixup, CutMix)을 최소한의 증강으로 대체하여 로버스트성을 향상시켰다.
• 적대적 훈련 중에 점진적으로 편향 크기를 증가시키기 위해 엡실론-워밍업을 도입하여 훈련을 안정화시켰다.
• 강력한 데이터 증강이 없는 상황에서 일반화 및 로버스트성을 향상시키기 위해 더 큰 가중치 감쇠 값을 적용하였다.
• 레시피를 검증하기 위해 주로 Cross-Covariance Image Transformer(XCiT)를 사용하였고, 이후 다른 ViT 변종과 ConvNeXt로 확장하였다.
• 경량화된 경로를 통해 적대적 편향의 시각화 및 의미론적 일치 지표를 사용하여 그들의 인지 가능성(퍼셉추얼 타당성)을 분석하였다.

실험 결과

연구 질문

• RQ1 맞춤형 적대적 훈련 레시피로 훈련된 ViT가 표준 CNNs보다 적대적 로버스트성에서 뛰어나게 되는가?
• RQ2 왜 ViT 훈련에서 일반적인 무거운 데이터 증강이 적대적 훈련에서 성능을 떨어뜨리는가?
• RQ3 간단한 데이터 증강 전략과 하이퍼파라미터 튜닝(예: 가중치 감쇠, 엡실론-워밍업)을 조합하면 ViT의 로버스트성이 크게 향상되는가?
• RQ4 로버스트한 ViT와 ResNet과 같은 표준 모델 간의 적대적 편향의 의미론적 특성은 어떻게 다를까?
• RQ5 제안된 레시피가 다양한 ViT 아키텍처와 후속 피지컬 토닝 작업 전반에 걸쳐 일반화되는가?

주요 결과

• 제안된 레시피는 표준 ViT 훈련 레시피 대비 ImageNet-1k에서 로버스트 정확도를 13.1% 향상시켰다.
• 레시피는 ImageNet-1k에서 최고 수준의 로버스트 정확도를 달성했으며, CIFAR-100, Caltech-101 등의 후속 피지컬 토닝 작업에서 최대 5.5% 높은 로버스트 정확도를 기록했다.
• 무거운 데이터 증강을 생략하고 가중치 감쇠를 늘리며 엡실론-워밍업을 적용함으로써 청소년 정확도를 유지하면서도 로버스트성을 향상시켰다.
• 새로운 레시피로 훈련된 모델는 훈련 중에 더 효과적인 1단계 공격을 경험하여, 더 강력한 적대적 신호 학습을 이룬다.
• 로버스트한 XCiT 모델의 적대적 편향은 ResNet의 것보다 인간의 인지와 더 의미론적으로 일치하며, 이는 더 의미 있는 편향을 통해 더 높은 로버스트성을 달성했음을 시사한다.
• 레시피는 다른 ViT 아키텍처로 일반화되며, ConvNeXt에 대해서도 적용 가능하여 최소한의 수정으로 최고 성능을 달성한다.