[논문 리뷰] An Impartial Take to the CNN vs Transformer Robustness Contest

Francesco Pinto, Philip H. S. Torr외 1명|arXiv (Cornell University)|2022. 07. 22.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 ImageNet-1K 및 이격 벤치마크에서 최신 CNN(특히 ConvNeXt)과 트랜스포머(ViT, Swin-T) 간에 철저하고 공정한 비교를 수행하여, CNN이 강건성, 校정성, 불확실성 추정에서 트랜스포머를 따라잡거나 능가할 수 있음을 입증한다. 핵심 발견은 자기주의(self-attention)가 본질적으로 뛰어난 강건성을 부여하지 않으며, 양 사례 모두 단순성 및 텍스처 편향과 같은 유사한 편향을 겪는다는 것이다.

ABSTRACT

Following the surge of popularity of Transformers in Computer Vision, several studies have attempted to determine whether they could be more robust to distribution shifts and provide better uncertainty estimates than Convolutional Neural Networks (CNNs). The almost unanimous conclusion is that they are, and it is often conjectured more or less explicitly that the reason of this supposed superiority is to be attributed to the self-attention mechanism. In this paper we perform extensive empirical analyses showing that recent state-of-the-art CNNs (particularly, ConvNeXt) can be as robust and reliable or even sometimes more than the current state-of-the-art Transformers. However, there is no clear winner. Therefore, although it is tempting to state the definitive superiority of one family of architectures over another, they seem to enjoy similar extraordinary performances on a variety of tasks while also suffering from similar vulnerabilities such as texture, background, and simplicity biases.

연구 동기 및 목표

• 자기주의 덕분에 트랜스포머가 CNN보다 본질적으로 더 강건하고 잘 校정된다는 광범위한 믿음을 도전하기 위해.
• CNN과 트랜스포머 모두 최신 최적의 훈련 레시피와 아키텍처를 사용하여 공정하고 편향 없는 비교를 수행하기 위해.
• 자기주의 메커니즘이 실제로 강건성 향상에 기여하는지, 아니면 정규화 및 활성화 함수와 같은 아키텍처 구성 요소가 더 큰 영향을 미칠 수 있는지 조사하기 위해.
• 정확도 외의 여러 지표를 사용하여 모델 신뢰성 평가하기: 특히 校정성, OoD 탐지, 오분류 탐지 등.
• 이전 비교에서 드러난 결함들, 예를 들어 모델 용량 스케일링의 불공정성과 비균형 설정에서 AURP를 AUROC 대신 사용하는 부적절한 지표 선택 등.

제안 방법

• 동일한 ImageNet-1K 훈련 및 평가 프로토콜을 사용하여 최신 CNN(BiT 및 ConvNeXt)과 트랜스포머(ViT, Swin-T)를 비교하였다.
• 모델가 최고 성능에 도달하도록 훈련 레시피를 수정하지 않은 표준 평가 프로토콜을 사용하였다.
• 분포 이격 벤치마크에서의 강건성 평가: ImageNet-A, ImageNet-R, ImageNet-Sketches, ImageNet-V2.
• 다양한 신뢰성 지표 사용: 기대 校정 오차(Expected Calibration Error, ECE), OoD 탐지에 대한 AUROC 및 AURP, 오분류 탐지에 대한 예측 기각 비율(Prediction Rejection Ratio, PRR).
• 단순성 편향 실험을 수행하여 모델이 복잡하고 불변하는 특징보다는 유사한 단순한 특징에 의존하는지 평가하였다.
• 모델 신뢰도 분포 분석을 통해 특히 외부 분포 설정에서 오분류된 샘플에 대해 과신하는지 여부를 탐지하였다.

실험 결과

연구 질문

• RQ1 트랜스포머는 다양한 분포 이격 벤치마크에서 CNN보다 일관되게 강건성과 校정성에서 뛰어나게 성능을 내는가?
• RQ2 자기주의 메커니즘이 강건성 향상의 주요 원인인가, 아니면 다른 아키텍처 구성 요소가 더 중요한 영향을 미치는가?
• RQ3 다양한 평가 지표(예: AURP 대비 AUROC)는 OoD 탐지에서 CNN과 트랜스포머 간의 성능 차이를 어떻게 영향을 미치는가?
• RQ4 CNN과 트랜스포머가 얼마나 많은 정도로 단순성 편향을 보이며, 복잡하고 불변하는 특징보다 쉽게 분류 가능한 특징을 선호하는가?
• RQ5 최신 CNN인 ConvNeXt가 자기주의를 사용하지 않고도 트랜스포머 수준의 성능을 달성할 수 있는가?

주요 결과

• In-distribution 校정성에서 ConvNeXt 모델는 최신 트랜스포머를 뛰어넘거나 맞먹는 성능을 보였다. ImageNet-1K에서 ConvNeXt-XL은 PRR 74.37%를 기록하여 ViT-L/16(76.03%)와 Swin-L(72.89%)을 초월하였다.
• ImageNet-R에서 Swin-L만 양의 PRR(36.53%)를 기록했고, ConvNeXt-XL과 L은 각각 음의 PRR(-19.32% 및 -23.60%)를 기록하여 오분류된 샘플에 대해 과신하고 있음을 나타냈다.
• 외부 분포 탐지에서는 명백한 승자가 없었다: ViT-L/16와 ConvNeXt-XL은 ImageNet-Sketches와 ImageNet-V2에서 유사한 성능을 보였으며, AUROC 값은 약 0.85–0.87 수준이었다.
• BiT-R152x4는 ImageNet-A에서 가장 높은 PRR(92.04%)를 기록하여 모든 트랜스포머를 크게 앞섰고, 이는 CNN이 극단적인 도메인 이격 상황에서 더 신뢰할 수 있음을 시사한다.
• 낮은 잘못된 校정 오차(ECE)에도 불구하고, 특히 ImageNet-R에서 여러 모델가 오분류된 샘플에 대해 과신하는 경향을 보여, ECE만으로는 신뢰성 평가에 충분하지 않음을 시사했다.
• 단순성 편향 실험 결과, CNN과 트랜스포머 모두 복잡하고 불변하는 특징보다는 단순하고 유사한 특징에 의존하는 경향을 보였으며, 이는 자기주의가 더 나은 특징 학습을 가능하게 한다는 주장을 약화시켰다.