[논문 리뷰] ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers

Yutong Xie, Jianpeng Zhang외 3명|arXiv (Cornell University)|2022. 08. 28.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

ClusTR는 시맨틱 유사도 기반으로 키 및 밸류 토큰을 군집화하고 집계하여 계산 복잡도를 줄이는 콘텐츠 기반 희박한 자기주의 메커니즘을 제안한다. 이는 장거리 모델링을 효율적으로 가능하게 하며, 단지 22.7M 파라미터로 ImageNet에서 83.2%의 Top-1 정확도를 달성하여 밀도형 및 격자 기반 희박한 자기주의 방법보다 우수한 성능을 보인다.

ABSTRACT

Although Transformers have successfully transitioned from their language modelling origins to image-based applications, their quadratic computational complexity remains a challenge, particularly for dense prediction. In this paper we propose a content-based sparse attention method, as an alternative to dense self-attention, aiming to reduce the computation complexity while retaining the ability to model long-range dependencies. Specifically, we cluster and then aggregate key and value tokens, as a content-based method of reducing the total token count. The resulting clustered-token sequence retains the semantic diversity of the original signal, but can be processed at a lower computational cost. Besides, we further extend the clustering-guided attention from single-scale to multi-scale, which is conducive to dense prediction tasks. We label the proposed Transformer architecture ClusTR, and demonstrate that it achieves state-of-the-art performance on various vision tasks but at lower computational cost and with fewer parameters. For instance, our ClusTR small model with 22.7M parameters achieves 83.2\% Top-1 accuracy on ImageNet. Source code and ImageNet models will be made publicly available.

연구 동기 및 목표

• 밀도형 자기주의의 제곱형 계산 복잡도 문제를 해결함으로써, 특히 밀도 예측 작업에 적합한 접근을 제공한다.
• 격자 기반 다운샘플링의 한계(세밀한 세부 정보 손실 및 여분의 배경 토큰 포함)를 극복한다.
• 시퀀스 길이를 줄이면서도 의미적 풍부함을 유지하는 콘텐츠 인식 토큰 집약 방법을 개발한다.
• 다중 척도 모델링을 위해 군집화 가이드된 자기주의를 확장하여 밀도 예측 작업에서의 성능을 향상시킨다.
• 모델 크기와 계산 비용을 줄이며 최신 기술 성능을 달성한다.

제안 방법

• 콘텐츠 유사도 기반으로 키 및 밸류 토큰에 군집화를 적용하여 군집 대표자로 집약함으로써 토큰 수를 감소시킨다.
• 쿼리 토큰이 군집화된 키 및 밸류 토큰에 주목함으로써, 장거리 의존성 모델링을 유지하는 군집화 가이드된 자기주의 메커니즘을 형성한다.
• 군집 수는 민감하게 조정 가능하여, 고정된 격자 기반 다운샘플링과 달리 시퀀스 길이와 계산 비용을 동적으로 제어할 수 있다.
• 다양한 스테이지에서 다른 군집 수를 적용함으로써 다중 척도 군집화를 도입하여 계층적 특징 학습을 가능하게 한다.
• 새로운 트랜스포머 아키텍처인 ClusTR로 통합되었으며, 소형, 기본형, 미니어처 버전이 제공된다.
• 이 모델은 이미지 분류, 세분화, 객체 검출, 자세 추정 벤치마크에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 콘텐츠 기반 군집화가 성능 손실 없이 비전 트랜스포머의 계산 복잡도를 줄일 수 있는가?
• RQ2 격자 기반 또는 컨볼루션 다운샘플링과 비교할 때 군집화 가이드된 자기주의가 의미 정보와 정확도를 얼마나 잘 유지하는가?
• RQ3 다중 척도 군집화 가이드된 자기주의가 세분화와 같은 밀도 예측 작업에서 성능 향상에 기여하는가?
• RQ4 군집화 기반 희박한 자기주의가 더 적은 파라미터와 FLOPs로 최신 기술 성능을 달성할 수 있는가?
• RQ5 군집 수의 유연성이 다양한 비전 작업에서 모델 효율성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 22.7M 파라미터를 가진 ClusTR-S는 ImageNet에서 83.2%의 Top-1 정확도를 달성하여 더 낮은 FLOPs와 파라미터로 경쟁 모델을 능가한다.
• 군집화 가이드된 방법은 격자 기반 토큰 집약(77.2% 대비 76.7%)과 비교해 파라미터를 18% 줄이고 Top-1 정확도를 0.5점 향상시켰다.
• k-NN 및 공간 감소 자기주의와 비교해 ClusTR는 파라미터를 18% 줄이고 FLOPs를 5% 감소시키면서도 Top-1 정확도를 0.4% 높였다.
• 다중 척도 군집화는 FLOPs와 파라미터의 약간 증가에도 불구하고 ADE-20K 세분화에서 mIOU를 1.4점 향상시켜(42.6 대비 41.2) 단일 척도 대비 성능 향상을 보였다.
• 40.3M 파라미터로 ImageNet에서 84.1%의 Top-1 정확도를 달성하여 강력한 확장성을 입증했다.
• 제거 분석 결과 군집화 가이드된 자기주의가 정확도와 효율성 측면에서 격자 기반 및 k-NN 희박한 자기주의보다 뛰어나다는 것이 확인되었다.