[논문 리뷰] Are Vision Transformers Robust to Patch Perturbations?

Jindong Gu, Volker Tresp외 1명|arXiv (Cornell University)|2021. 11. 20.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 비전 트랜스포머(ViT)의 패치 단위 교란에 대한 강건성을 조사하며, 자연스러운 손상에는 더 강건하지만, ResNet보다 악성 패치에 훨씬 더 취약하다는 것을 밝혀냈다. 저자들은 이 원인을 자기주의 어텐션 메커니즘이 자연스러운 손상은 간과할 수 있지만, 악성 손상에는 쉽게 속임을 당할 수 있기 때문이라고 설명하며, 온도 스케일링을 통한 스무딩 어텐션(Smoothed Attention)을 제안하여 단일 패치에 집중하는 것을 막아 강건성을 향상시킨다.

ABSTRACT

Recent advances in Vision Transformer (ViT) have demonstrated its impressive performance in image classification, which makes it a promising alternative to Convolutional Neural Network (CNN). Unlike CNNs, ViT represents an input image as a sequence of image patches. The patch-based input image representation makes the following question interesting: How does ViT perform when individual input image patches are perturbed with natural corruptions or adversarial perturbations, compared to CNNs? In this work, we study the robustness of ViT to patch-wise perturbations. Surprisingly, we find that ViTs are more robust to naturally corrupted patches than CNNs, whereas they are more vulnerable to adversarial patches. Furthermore, we discover that the attention mechanism greatly affects the robustness of vision transformers. Specifically, the attention module can help improve the robustness of ViT by effectively ignoring natural corrupted patches. However, when ViTs are attacked by an adversary, the attention mechanism can be easily fooled to focus more on the adversarially perturbed patches and cause a mistake. Based on our analysis, we propose a simple temperature-scaling based method to improve the robustness of ViT against adversarial patches. Extensive qualitative and quantitative experiments are performed to support our findings, understanding, and improvement of ViT robustness to patch-wise perturbations across a set of transformer-based architectures.

연구 동기 및 목표

• 비전 트랜스포머(ViT)가 컨volution 신경망(CNNs)과 비교해 패치 단위의 교란에 어떻게 반응하는지 조사하기.
• 자기주의 어텐션 메커니즘이 ViT의 자연적 및 악성 패치 손상에 대한 강건성에 어떤 역할을 하는지 이해하기.
• 어 attention 행동의 통찰을 바탕으로 ViT의 악성 패치 공격에 대한 강건성을 향상시키는 방법 개발하기.
• 다양한 패치 공격 설정 하에서 다양한 ViT 변종, CNNs, 하이브리드 아키텍처의 강건성 비교하기.

제안 방법

• 표준 벤치마크를 사용하여 ViT와 ResNet의 패치 단위 자연 손상 및 악성 교란에 대한 공정한 비교 수행하기.
• 롤아웃 어텐션을 사용해 어텐션 맵을 시각화하여 ViT가 다양한 교란 유형 하에서 패치에 어떻게 집중하는지 분석하기.
• 자기주의 어텐션 메커니즘의 소프트맥스에 적용되는 온도 스케일링 기법을 통해 어텐션 가중치를 더 균일하게 분포시키는 스무딩 어텐션(Smoothed Attention)을 제안하기.
• 온도 스케일링을 적용하여 후속 레이어에서 특정 패치가 어텐션 계산을 지배하는 것을 방지하기.
• 다양한 공격 설정 하에서 DeiT, Swin 트랜스포머, LeViT, MLP-Mixer 등의 다수 아키텍처에 대해 강건성 평가 수행하기.
• 지각 불가능한, 타겟된, ViT에 일반화 가능한 패치 공격 하에서 방법을 테스트하여 일반화성 및 강건성 향상 검증하기.

실험 결과

연구 질문

• RQ1 ViT의 패치 단위 자연 손상에 대한 강건성은 ResNet과 비교해 어떻게 되는가?
• RQ2 자연 손상에 강건함에도 불구하고 ViT는 왜 악성 패치 공격에 더 취약한가?
• RQ3 자기주의 어텐션 메커니즘이 패치 교란 하에서 ViT의 강건성 또는 취약성에 얼마나 기여하는가?
• RQ4 어 attention 메커니즘에서의 온도 스케일링이 악성 패치 공격에 대한 ViT의 강건성을 효과적으로 향상시킬 수 있는가?
• RQ5 다양한 ViT 변종(Swin, MLP-Mixer 등)의 아키텍처 설계가 패치 공격에 대한 강건성에 어떻게 영향을 미치는가?

주요 결과

• ViT는 자연스럽게 손상된 패치에 대해 ResNet보다 더 강건하며, 어텐션 메커니즘이 손상된 영역을 효과적으로 간과한다.
• ViT는 악성 패치 공격에 대해 ResNet보다 훨씬 더 취약하며, 표준 패치 공격 하에서 DeiT-small에서 61.5%의 오염률을 기록한다.
• ViT의 자기주의 어텐션 메커니즘은 악성 패치에 집중하도록 쉽게 조작될 수 있으며, 이는 어텐션 맵 시각화를 통해 확인된다.
• 온도 스케일링을 통한 스무딩 어텐션은 ViT의 악성 패치에 대한 강건성을 향상시키며, DeiT와 LeViT에선 뚜렷한 성능 향상이 있었지만, 계층적 설계로 인해 Swin 트랜스포머에선 최소한의 향상이 있었다.
• 지각 불가능한 패치 공격(8/225로 제한) 하에서 DeiT-tiny는 ResNet18(2.9%)보다 더 높은 취약성(11.2% 오염률)을 보였다.
• DeiT-tiny를 오염시키는 데 필요한 최소 반복 수(65)는 ResNet18(342)보다 훨씬 낮아, ViT에서 공격 성공 속도가 더 빠르다는 점을 확인했다.