[논문 리뷰] ConvNets vs. Transformers: Whose Visual Representations are More Transferable?
이 논문은 이미지넷에서 유사한 top-1 정확도를 가지도록 사전 훈련된 모델을 대상으로, 컨볼루션 네트워크(ConvNets)와 비전 트랜스포머가 학습한 시각적 표현의 전이 가능성(transferability)을 비교한다. 결과적으로 비전 트랜스포머는 15개의 다운스트림 작업 중 13개에서 일관되게 ConvNets를 능가하며, 도메인 이탈 시나리오와 다중 작업 학습에서 특히 뛰어난 일반화 능력과 강건성을 보여준다.
Vision transformers have attracted much attention from computer vision researchers as they are not restricted to the spatial inductive bias of ConvNets. However, although Transformer-based backbones have achieved much progress on ImageNet classification, it is still unclear whether the learned representations are as transferable as or even more transferable than ConvNets' features. To address this point, we systematically investigate the transfer learning ability of ConvNets and vision transformers in 15 single-task and multi-task performance evaluations. Given the strong correlation between the performance of pre-trained models and transfer learning, we include 2 residual ConvNets (i.e., R-101x3 and R-152x4) and 3 Transformer-based visual backbones (i.e., ViT-B, ViT-L and Swin-B), which have close error rates on ImageNet, that indicate similar transfer learning performance on downstream datasets. We observe consistent advantages of Transformer-based backbones on 13 downstream tasks (out of 15), including but not limited to fine-grained classification, scene recognition (classification, segmentation and depth estimation), open-domain classification, face recognition, etc. More specifically, we find that two ViT models heavily rely on whole network fine-tuning to achieve performance gains while Swin Transformer does not have such a requirement. Moreover, vision transformers behave more robustly in multi-task learning, i.e., bringing more improvements when managing mutually beneficial tasks and reducing performance losses when tackling irrelevant tasks. We hope our discoveries can facilitate the exploration and exploitation of vision transformers in the future.
연구 동기 및 목표
- 사전 훈련 조건을 통제한 조건에서 비전 트랜스포머가 ConvNets보다 더 전이 가능한 시각적 표현을 학습하는지 조사하는 것.
- 이미지넷과의 도메인 갭이 다양한 다운스트림 작업에서의 전이 학습 성능을 평가하는 것.
- 특히 작업 간 상호 유익성 또는 무관성 여부에 따라 다중 작업 학습 환경에서 ConvNets와 비전 트랜스포머의 강건성(robustness)을 비교하는 것.
- 특히 전체 네트워크 미세조정 vs. 선형 헤드 미세조정에 대한 비전 트랜스포머와 ConvNets의 미세조정 요구사항을 분석하는 것.
- 비전 트랜스포머의 전반적인 전이 가능성 우월성에도 불구하고, 여전히 일부 다운스트림 작업에서 ConvNets가 이점이 유지되는 경우를 특정하는 것.
제안 방법
- 유사한 이미지넷 top-1 오차율을 가지는 사전 훈련 모델 선택: 두 가지 ResNet 변종(R-101×3, R-152×4)과 세 가지 비전 트랜스포머(ViT-B, ViT-L, Swin-B).
- 모든 모델에 동일한 사전 훈련 및 미세조정 프rotocol를 적용하여 공정한 비교를 보장한다.
- 15개의 다운스트림 작업 평가: 10개의 단일 작업(예: 세분화된 분류, 장면 인식, 얼굴 인식)과 5개의 다중 작업(예: 장면, 내부 도메인, 오픈 도메인 분류의 조합).
- 표현 품질 평가를 위해 전체 네트워크 미세조정과 선형 평가 프로토콜를 모두 사용한다.
- 공유 백본과 작업별 헤드를 포함한 다중 작업 학습을 구현하며, 분류와 세그멘테이션을 동시에 처리한다.
- 일관된 훈련을 위해 표준 데이터 증강(자르기, 뒤집기), 교차 엔트로피 손실, 학습률 스케줄링을 적용한다.
실험 결과
연구 질문
- RQ1사전 훈련된 모델의 이미지넷 정확도가 유사할 때, 비전 트랜스포머가 ConvNets보다 더 전이 가능한 시각적 표현을 학습하는가?
- RQ2이미지넷과의 도메인 갭이 큰 작업에서 비전 트랜스포머와 ConvNets의 전이 학습 성능는 어떻게 비교되는가?
- RQ3특히 작업 간 상호 유익성 또는 무관성 여부에 따라 다중 작업 학습에서 ConvNets와 비전 트랜스포머의 성능에 미치는 영향은 무엇인가?
- RQ4전체 네트워크 미세조정 대비 선형 헤드 미세조정 전략이 비전 트랜스포머의 성능 향상에 ConvNets 대비 유의미하게 영향을 미치는가?
- RQ5비전 트랜스포머의 전반적인 전이 가능성 우월성에도 불구하고, 어떤 다운스트림 작업에서 여전히 ConvNets가 이점이 유지되는가?
주요 결과
- 비전 트랜스포머는 세분화된 분류, 장면 인식, 깊이 추정, 얼굴 인식 등 15개의 다운스트림 작업 중 13개에서 ConvNets를 능가한다.
- Swin-B는 다중 작업 학습에서 Indoor67과 Caltech101 양쪽에서 높은 성능 순위를 기록하여 강건성과 일반화 능력이 뛰어나다는 것을 입증한다.
- 다중 작업 학습에서 WikiArt와 조합할 경우, 비전 트랜스포머 기반 모델은 Caltech101에서 약 5% 더 작은 성능 저하를 보이며, ConvNets보다 훨씬 강건하다.
- ViT 모델은 성능 향상을 위해 거의 전적으로 전체 네트워크 미세조정에 의존하지만, Swin-B는 선형 헤드 미세조정으로도 뛰어난 성능을 기록한다.
- 비전 트랜스포머는 장면 세그멘테이션과 오픈 도메인 분류 등 서로 관련이 없는 작업을 조합할 경우, ConvNets보다 성능 손실를 더 효과적으로 줄인다.
- 비전 트랜스포머의 광범위한 전이 가능성에도 불구하고, 내부 도메인 분류와 비지도 이미지 검색 작업에서는 여전히 ConvNets가 약간의 이점이 유지되나, 이는 비전 트랜스포머의 더 넓은 전이 가능성에 비해 상쇄된다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.