[논문 리뷰] MSG-Transformer: Exchanging Local Spatial Information by Manipulating Messenger Tokens

Jiemin Fang, Lingxi Xie외 4명|arXiv (Cornell University)|2021. 05. 31.

Advanced Neural Network Applications참고 문헌 58인용 수 10

한 줄 요약

이 논문은 지역적 공간 정보 교환을 향상시키기 위해 경량 메신저(MSG) 토큰을 사용하는 비전 트랜스포머인 MSG-Transformer을 제안한다. 이 MSG 토큰들은 겹치지 않는 지역 윈도우 간의 특징을 요약하고 전달한다. 직접적인 윈도우 간 어텐션 대신 MSG 토큰을 다루는 방식—특히 셔플 연산을 통해—이를 통해 이미지 분류와 객체 검출에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 CPU에서 더 빠른 추론 속도를 기록하였다. 이는 계산 오버헤드 감소와 간소화된 구현 덕분이었다. ImageNet에서 84.0% Top-1 정확도, MS-COCO에서 52.8 mAP 성능을 기록하였다.

ABSTRACT

Transformers have offered a new methodology of designing neural networks for visual recognition. Compared to convolutional networks, Transformers enjoy the ability of referring to global features at each stage, yet the attention module brings higher computational overhead that obstructs the application of Transformers to process high-resolution visual data. This paper aims to alleviate the conflict between efficiency and flexibility, for which we propose a specialized token for each region that serves as a messenger (MSG). Hence, by manipulating these MSG tokens, one can flexibly exchange visual information across regions and the computational complexity is reduced. We then integrate the MSG token into a multi-scale architecture named MSG-Transformer. In standard image classification and object detection, MSG-Transformer achieves competitive performance and the inference on both GPU and CPU is accelerated. Code is available at https://github.com/hustvl/MSG-Transformer.

연구 동기 및 목표

• 표준 트랜스포머의 높은 계산 비용, 특히 이차형 어텐션 복잡도로 인한 비전 작업의 고비용 문제를 해결하기 위해.
• Swin Transformer나 HaloNet과 같은 기존 국소 어텐션 방법의 한계를 극복하기 위해, 메모리 낭비, 구현 복잡성, 또는 제한된 통신 능력 문제를 해결하기 위해.
• 패치 수준 어텐션 계산과 정보 전파를 분리하여, 국소적 특징 교환을 위한 모듈형이고 융통성 있는 프레임워크를 설계하기 위해.
• 중복된 특징 전이와 데이터 복사 최소화를 통해 FLOPs를 감소시키고 추론 속도를 향상시켜, 특히 CPU에서 더 빠른 성능을 달성하기 위해.
• 계층적이고 겹치지 않는 윈도우 설계와 MSG 토큰을 통한 중심화된 정보 라우팅을 통해 효율적인 다중 스케일 특징 학습을 가능하게 하기 위해.

제안 방법

• 각 지역 윈도우에 대해 경량 메신저(MSG) 토큰을 도입하여, 윈도우 간의 공간적 특징을 요약하고 전달함으로써 직접적인 윈도우 간 어텐션을 대체한다.
• 겹치지 않는 지역 윈도우를 사용하여 계산과 메모리 오버헤드를 줄이고, HaloNet의 중복 특징 복사나 Swin Transformer의 윈도우 이동 방식을 피한다.
• 셔플 연산을 구현하여 MSG 토큰의 특징을 다양한 공간 위치로 재분배함으로써, 최소한의 계산 비용으로 윈도우 간 정보 교환을 가능하게 한다.
• 다중 스케일 아키텍처(MSG-Transformer)에 MSG 토큰을 통합하여, 각 스테이지에서 다른 해상도의 특징을 처리한다.
• 패치 토큰은 자신의 지역 윈도우 내에서만 어텐션을 수행하고, MSG 토큰이 윈도우 간 통신을 담당함으로써 패치 수준 어텐션의 부담을 줄인다.
• 다중 스테이지의 계층적 설계를 통해, 점차 해상도가 증가하는 특징 맵 간에 MSG 토큰을 업데이트하고 공유함으로써 다중 수준의 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 중앙집중식이고 경량화된 토큰 메커니즘(MSG)이 직접적인 윈도우 간 어텐션을 대체하여 비전 트랜스포머의 계산 비용을 효과적으로 줄일 수 있는가?
• RQ2 특히 CPU에서의 정확도, FLOPs, 추론 속도 측면에서 MSG-Transformer는 Swin Transformer보다 어떻게 비교되는가?
• RQ3 셔플 영역 크기의 변화가 MSG-Transformer의 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 아키텍처 복잡도 증가 없이도 MSG 토큰을 사용해 정보 교환 패턴을 민첩하게 제어할 수 있는가?
• RQ5 MSG-Transformer는 이미지 분류나 객체 검출과 같은 다양한 비전 작업에서 강력한 성능을 유지하는가?

주요 결과

• MSG-Transformer는 ImageNet 분류에서 84.0% Top-1 정확도를 달성하여 최근의 Swin Transformer를 능가한다.
• MS-COCO 객체 검출에서 MSG-Transformer는 52.8 mAP에 도달하여 Swin Transformer의 성능을 초월한다.
• 특히 CPU에서의 추론 속도에서 뚜렷한 성능 우위를 보이며, 특징 전이와 메모리 오버헤드 감소 덕분이다.
• 셔플 연산은 계산 비용이 거의 들지 않으면서도 효과적인 윈도우 간 정보 교환을 가능하게 하며, 셔플 영역 크기를 증가시킬수록 정확도가 향상된다.
• 더 깊고 좁은 아키텍처(64-dim, [2,4,12,4] 블록)는 Swin Transformer보다 MSG-Transformer에서 더 우수한 정확도-계산 비용 트레이드오���을 달성한다.
• 어텐션 맵 시각화 결과, 더 깊은 층에서 MSG 토큰이 객체 관련 영역에 집중하는 것으로 확인되어, 국소 어텐션임에도 효과적인 공간 모델링이 이루어지고 있음을 시사한다.