[논문 리뷰] Exploring the Relationship between Architecture and Adversarially Robust Generalization

Aishan Liu, Shiyu Tang외 5명|arXiv (Cornell University)|2022. 09. 28.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 신경망 아키텍처와 적대적 방어 일반화 사이의 관계를 조사하며, 특히 $\varepsilon$-노름 공격에 걸쳐 뷰어션 트랜스포머(Vision Transformers, 예: PVT, CoAtNet)가 CNN보다 더 나은 일반화 성능을 보임을 발견한다. 이는 주로 어텐션 메커니즘에서 더 높은 가중치 흐문도를 통해 발생하며, Rademacher 복잡도 분석을 통해 이론적으로 연결된다.

ABSTRACT

Adversarial training has been demonstrated to be one of the most effective remedies for defending adversarial examples, yet it often suffers from the huge robustness generalization gap on unseen testing adversaries, deemed as the adversarially robust generalization problem. Despite the preliminary understandings devoted to adversarially robust generalization, little is known from the architectural perspective. To bridge the gap, this paper for the first time systematically investigated the relationship between adversarially robust generalization and architectural design. Inparticular, we comprehensively evaluated 20 most representative adversarially trained architectures on ImageNette and CIFAR-10 datasets towards multiple `p-norm adversarial attacks. Based on the extensive experiments, we found that, under aligned settings, Vision Transformers (e.g., PVT, CoAtNet) often yield better adversarially robust generalization while CNNs tend to overfit on specific attacks and fail to generalize on multiple adversaries. To better understand the nature behind it, we conduct theoretical analysis via the lens of Rademacher complexity. We revealed the fact that the higher weight sparsity contributes significantly towards the better adversarially robust generalization of Transformers, which can be often achieved by the specially-designed attention blocks. We hope our paper could help to better understand the mechanism for designing robust DNNs. Our model weights can be found at http://robust.art.

연구 동기 및 목표

• 다양한 $\varepsilon$-노름 공격에 걸쳐 아키텍처 설계가 적대적 방어 일반화에 미치는 영향을 체계적으로 조사하기.
• 적대적 방어 학습 하에서 더 나은 일반화를 이끄는 아키텍처적 요인을 특정하기.
• 유사한 학습 설정에도 불구하고 뷰어션 트랜스포머가 새로운 적대적 공격에 더 잘 일반화되는 이유를 설명하기.
• Rademacher 복잡도를 사용하여 가중치 흐문도가 적대적 방어 일반화에 미치는 역할을 이론적으로 분석하기.

제안 방법

• ImageNette와 CIFAR-10에서 여러 $\varepsilon$-노름 공격($\ell_1$, $\ell_2$, $\ell_\infty$) 하에 20개의 적대적으로 트레이닝된 아키텍처(ViT, PVT, ResNet, VGG 등)에 대한 종합적 평가.
• 모델 간 공정한 비교를 위해 동일한 초모수 설정 하에 모든 모델을 학습.
• Rademacher 복잡도를 사용한 이론적 분석을 통해 가중치 흐문도가 트랜스포머에서 더 나은 방어 일반화로 이어지는 원리를 규명.
• CIFAR-10-C와 ImageNette-C를 사용해 일반적인 손상 상황 하에서의 일반화 평가를 통해 적대적 예외를 넘어서는 내성적 내구성 평가.
• 패치 크기 및 아키텍처 구성 요소(예: 어텐션 블록)에 대한 분석을 통해 각 요소가 내성적 내구성에 미치는 영향을 분리하여 분석.

실험 결과

연구 질문

• RQ1 적대적 학습 하에서 다양한 $\varepsilon$-노름 공격에 걸쳐 뷰어션 트랜스포머가 CNN보다 더 나은 일반화 성능을 보이는가?
• RQ2 어떤 아키텍처적 특성이 더 나은 적대적 방어 일반화를 이끄는가?
• RQ3 가중치 흐문도는 적대적 방어 일반화에 어떤 영향을 미치며, 트랜스포머에서 핵심 요소인가?
• RQ4 왜 CNN은 특정 공격에 과적합하는 반면 트랜스포머는 여러 공격 유형에 걸쳐 더 잘 일반화되는가?
• RQ5 Rademacher 복잡도를 사용해 다양한 아키텍처의 방어 일반화 행동을 이론적으로 설명할 수 있는가?

주요 결과

• PVT와 CoAtNet과 같은 뷰어션 트랜스포머는 여러 $\varepsilon$-노름 공격에 걸쳐 뚜렷하게 높은 최악의 경우 방어 정확도를 기록한다. 예를 들어, ImageNette에서 패치 크기 4인 PVTv2의 최악의 경우 정확도는 33.54%이다.
• ResNet과 VGG와 같은 CNN은 특정 공격에 강하게 과적합되며, $\ell_1$ 공격 하에서 ViTAE의 최악의 경우 정확도가 최소 21.10%까지 떨어진다.
• 트랜스포머는 일반적인 손상 상황에서도 뛰어난 일반화 성능을 보인다. 예를 들어, CoAtNet은 CIFAR-10-C에서 79.91%의 정확도를 기록했으며, 이는 ResNet(청결 상태 81.20%, CIFAR-10-C 79.24%)보다 손상 일반화에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 더 높은 가중치 흐문도—주로 어텐션 블록을 통해 달성됨—가 적대적 방어 일반화를 크게 향상시킴을 규명하였으며, 이는 Rademacher 복잡도 경계를 통해 수식화되었다.
• 패치 크기 1인 PVTv2는 ImageNette에서 94.60%의 일반 정확도와 $\ell_\infty$-PGD 공격에 대해 54.59%의 방어 정확도를 기록하여 다양한 공격 타입에 걸쳐 강력한 방어 일반화 성능을 보였다.
• ImageNet에서 청결 정확도와 방어 정확도 사이의 일반화 갭은 트랜스포머에서 CNN보다 더 크며, 이는 아키텍처 설계가 특정 방어성과 일반화 간의 트레이드오���을 고려해야 함을 시사한다.