[논문 리뷰] LightViT: Towards Light-Weight Convolution-Free Vision Transformers
LightViT는 자기 주의에서 전역 토큰 기반 집계와 FFN에서 이차원 주의가 적용된 가볍고 합성되지 않은 비전 트랜스포머를 도입하여 Convolutions를 사용하지 않고도 ImageNet, COCO 및 그 외 영역에서 강력한 정확도-효율성을 달성합니다.
Vision transformers (ViTs) are usually considered to be less light-weight than convolutional neural networks (CNNs) due to the lack of inductive bias. Recent works thus resort to convolutions as a plug-and-play module and embed them in various ViT counterparts. In this paper, we argue that the convolutional kernels perform information aggregation to connect all tokens; however, they would be actually unnecessary for light-weight ViTs if this explicit aggregation could function in a more homogeneous way. Inspired by this, we present LightViT as a new family of light-weight ViTs to achieve better accuracy-efficiency balance upon the pure transformer blocks without convolution. Concretely, we introduce a global yet efficient aggregation scheme into both self-attention and feed-forward network (FFN) of ViTs, where additional learnable tokens are introduced to capture global dependencies; and bi-dimensional channel and spatial attentions are imposed over token embeddings. Experiments show that our model achieves significant improvements on image classification, object detection, and semantic segmentation tasks. For example, our LightViT-T achieves 78.7% accuracy on ImageNet with only 0.7G FLOPs, outperforming PVTv2-B0 by 8.2% while 11% faster on GPU. Code is available at https://github.com/hunto/LightViT.
연구 동기 및 목표
- 합성 없이 경량 비전 트랜스포머를 설계하고 정보 집계를 재고합니다.
- 자기 주의 내에서 전역 의존성을 효율적으로 포착하기 위한 전역-토큰 기반 집계를 제안합니다.
- 소량 채널 차원에서 특성 표현력을 향상시키기 위한 FFN의 이차원 채널-공간 주의 모듈을 도입합니다.
- ImageNet, COCO 검출 및 분할 태스크에서 정확도-효율성 트레이드를 개선함을 보여줍니다.
- 견고하고 확장 가능하며 효율적인 LightViT 변형을 위한 실용적 설계 선택을 제공합니다.
제안 방법
- 로컬 창(Self-attention) 기반을 사용하고 학습 가능한 전역 토큰을 도입하여 전역 정보를 집계합니다(전역 집계).
- 집계된 전역 토큰을 키/값으로 사용하여 로컬 토큰을 풍부하게 하는 전역 브로드캐스트를 수행합니다(전역 브로드캐스트).
- 이미지 크기에 선형 복잡도로 효율성을 위한 거의 비용이 없는 전역 토큰 기반의 집계을 추가합니다.
- 채널 주의 분기와 공간 주의 분기로 구성된 FFN의 이차원 주의 모듈을 도입하여 공간 및 채널 의존성을 더 잘 활용합니다.
- 3단계의 계층적이고 합성 없이 ViT 설계를 채택하고, 효율성을 위해 첫 번째 스트라이드-4 단계를 제거하며, 다운샘플링을 위해 잔차 패치 병합을 사용합니다.
- 효율성-정확도 트레이드를 위해 서로 다른 단계 구성, 중첩 패치 임베딩, OPE stem 등 아키텍처 변형을 탐구합니다.
실험 결과
연구 질문
- RQ1합성 기반이 아닌 ViT가 합성 기반 또는 하이브리드 형태의 효율적인 ViT에 비해 효율-정확도 이점을 달성할 수 있습니까?
- RQ2무거운 계산 없이 로컬 윈도우 주의에 전역 정보를 어떻게 효율적으로 통합할 수 있을까요?
- RQ3소형 채널 차원에서 이차원 주의 메커니즘이 경량 ViT의 성능 저하를 보완할 수 있습니까?
- RQ4LightViT의 처리량과 정확도를 개선하기 위한 실용적 아키텍처 조정(단계, 패치 병합, OPE 스템)은 무엇입니까?
주요 결과
- LightViT-T는 0.7G FLOPs에서 ImageNet에서 78.7% Top-1 정확도를 달성하며 여러 효율적 ViT를 능가하고 GPU에서 상당히 더 빠릅니다.
- LightViT-S는 1.7G FLOPs에서 ImageNet에서 80.8% Top-1을 달성하며 정확도와 효율성 측면에서 다수의 기준선을 능가합니다.
- COCO 객체 탐지에서 LightViT-S는 1.0x 일정에서 40.0 APb 및 37.4 APm을 달성하며 더 높은 FLOPs 백본과의 경쟁력 있는 성능을 보입니다.
- 로컬 윈도우 주의에 전역 주의를 추가한 제거를 통해 상당한 정확도 향상(76.9%–78.0% vs. 로컬-주의 기준선)이 관찰되며 이차원 FFN 주의가 추가 향상을 제공합니다.
- 첫 번째 스트라이드-4 단계를 제거하고 3단계 FPN을 사용하면 전송 성능이 유지되거나 향상되면서 효율성이 향상됩니다.
- 이차원 FFN 주의(채널+공간)는 정확도를 더욱 향상시키며, 제안 구성요소를 갖춘 전체 LightViT-T는 78.7% Top-1에 도달합니다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.