[논문 리뷰] SparseFormer: Sparse Visual Recognition via Limited Latent Tokens

Ziteng Gao, Tong Zhan외 2명|arXiv (Cornell University)|2023. 04. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

SparseFormer는 이미지를 처리하기 위해 밀도 높은 패치 또는 픽셀을 모두 처리하는 대신, 최소한의 학습 가능한 잠재 토큰(최소 49개)을 사용하는 희소 시각 인식 프레임워크를 제안한다. 반복적인 영역 중심 개선을 통해 주목할 만한 영역에만 주목하고 희소한 특징 샘플링을 수행함으로써, Swin-T와 유사한 성능을 달성하면서도 FLOPs를 크게 줄이고 처리량을 향상시킨다. 특히 저성능 환경에서 두드러진 성능 향상을 보인다.

ABSTRACT

Human visual recognition is a sparse process, where only a few salient visual cues are attended to rather than traversing every detail uniformly. However, most current vision networks follow a dense paradigm, processing every single visual unit (e.g,, pixel or patch) in a uniform manner. In this paper, we challenge this dense paradigm and present a new method, coined SparseFormer, to imitate human's sparse visual recognition in an end-to-end manner. SparseFormer learns to represent images using a highly limited number of tokens (down to 49) in the latent space with sparse feature sampling procedure instead of processing dense units in the original pixel space. Therefore, SparseFormer circumvents most of dense operations on the image space and has much lower computational costs. Experiments on the ImageNet classification benchmark dataset show that SparseFormer achieves performance on par with canonical or well-established models while offering better accuracy-throughput tradeoff. Moreover, the design of our network can be easily extended to the video classification with promising performance at lower computational costs. We hope that our work can provide an alternative way for visual modeling and inspire further research on sparse neural architectures. The code will be publicly available at https://github.com/showlab/sparseformer

연구 동기 및 목표

• 모든 픽셀이나 패치를 균일하게 처리하는 뷰 트랜스포머와 CNN의 지배적일 정도로 밀도 높은 패러다임에 도전하기 위해.
• 학습 가능한 잠재 토큰을 통해 인간의 시각 인식처럼 주목할 만한 일부 영역에만 집중하기 위해.
• 잠재 공간 내에서 희소한 토큰 세트로만 연산을 제한함으로써 계산 비용과 메모리 사용량을 줄이기 위해.
• 지역화 감독이 필요 없이 분류 신호만으로도 엔드 투 엔드 학습이 가능하도록 하기 위해.
• 이미지 및 영상 작업 전반에 걸쳐 효율적이고 일반화 능력이 뛰어난 새로운 희소 신경망 아키텍처 패러다임을 탐색하기 위해.

제안 방법

• 초기 이미지 특징을 추출하기 위해 경량의 초기 컨volutional 인코더를 도입한다.
• 각 잠재 토큰이 차지하는 영역 중심(Region-of-Interest, RoI)을 반복적으로 개선하는 잠재 집중 트랜스포머를 활용하여 분류에 기여하는 이미지 영역에 주목한다.
• 이중 선형 보간을 통한 희소한 특징 샘플링을 사용하여 각 토큰의 RoI에 해당하는 이미지 영역의 특징을 추출함으로써, 밀도 높은 연산을 피한다.
• 결과적으로 생성된 잠재 토큰 임베딩을 잠재 공간 내에서 표준적인 깊은 트랜스포머 인코더를 통해 처리함으로써 고정밀도 인식을 가능하게 한다.
• 토큰의 RoI를 격자형 패턴(예: 49개 토큰에 대해 7×7)으로 초기화하고, 공간적 범위와 위치를 엔드 투 엔드로 학습한다.
• Xavier 초기화를 사용한 적응형 디코딩을 통해 학습 안정성을 확보하고, 초기 행동이 조건 없는 컨볼루션과 유사하도록 한다.

Figure 1 : Dense versus our proposed sparse paradigm for visual recognition. The dense paradigm requires traversing $H\times W$ units to perform convolution or attention, while our proposed sparse paradigm performs transformers over only $N$ latent tokens where $N\ll H\times W$ .

실험 결과

연구 질문

• RQ1 소수의 희소한 잠재 토큰만 처리함으로써 FLOPs를 극적으로 줄일 수 있는가? 그로 인해 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 지역화 감독 없이 분류 신호만으로도 희소 어텐션 메커니즘이 배경이 아닌 전경 객체에 집중할 수 있는가?
• RQ3 정확도-처리량 트레이드오프 측면에서, 희소 아키텍처는 Swin 트랜스포머와 같은 밀도 모델과 비교해 어떻게 성능을 내는가?
• RQ4 희소 설계는 계산 비용이 주요 장벽이 되는 영상 인식 작업으로도 효과적으로 확장될 수 있는가?
• RQ5 모델은 무작위 제거나 제로 패딩과 같은 입력 왜곡에 대해 강건한가?

주요 결과

• 2.0 GFLOPs에서 작동하는 SparseFormer-Tiny는 1270장/초의 처리 속도로 ImageNet-1K에서 81.0%의 상위-1 정확도를 달성했으며, Swin-T(4.5 GFLOPs, 81.3% 상위-1, 726장/초)보다 처리량에서 뛰어난 성능을 보였다.
• 단지 49개의 잠재 토큰만으로도 SparseFormer는 저성능 환경에서 강력한 효율성과 뛰어난 성능을 입증했다.
• Ade20K 세분화 분류 벤치마크에서, 400개 토큰을 사용한 SparseFormer-T는 단지 43 GFLOPs의 FLOPs로 43.5%의 mIoU와 54.7%의 mAcc를 달성했으며, Swin-T의 FLOPs의 1/8에 불과했음에도 경쟁력 있는 성능 유지를 보였다.
• 시각화 결과는 SparseFormer가 지역화 감독 없이도 스테이지가 진행되면서 점차 분류에 기여하는 전경 영역에 집중하는 것을 확인했다.
• 무작위 제거나 제로 패딩과 같은 입력 왜곡에 대해 모델은 학습 과정에서 정보가 없는 영역을 피하는 방식으로 샘플링을 적응시키며 강건성을 보였다.
• 영상 분류 작업으로의 일반화 능력도 뛰어나, Kinetics-400에서 밀도 모델보다 낮은 계산량으로 유망한 성능을 달성했다.

Figure 2 : The overall architecture of the proposed SparseFormer. The MHSAs and FFNs are multi-head self-attention over latent tokens and feed-forward networks applied on these tokens, respectively. Note that different from the illustration aimed for details, the cortex Transformer is actually much