[논문 리뷰] RegionViT: Regional-to-Local Attention for Vision Transformers

Chun-Fu Chen, Rameswar Panda외 1명|arXiv (Cornell University)|2021. 06. 04.

Advanced Neural Network Applications참고 문헌 53인용 수 93

한 줄 요약

RegionViT는 regional-to-local attention를 사용하는 피라미드 구조의 비전 트랜스포머를 도입하고, 지역 자기 주의와 regional-to-local attention을 결합하여 로컬 영역 내에서 전역 정보의 흐름을 가능하게 한다.

ABSTRACT

Vision transformer (ViT) has recently shown its strong capability in achieving comparable results to convolutional neural networks (CNNs) on image classification. However, vanilla ViT simply inherits the same architecture from the natural language processing directly, which is often not optimized for vision applications. Motivated by this, in this paper, we propose a new architecture that adopts the pyramid structure and employ a novel regional-to-local attention rather than global self-attention in vision transformers. More specifically, our model first generates regional tokens and local tokens from an image with different patch sizes, where each regional token is associated with a set of local tokens based on the spatial location. The regional-to-local attention includes two steps: first, the regional self-attention extract global information among all regional tokens and then the local self-attention exchanges the information among one regional token and the associated local tokens via self-attention. Therefore, even though local self-attention confines the scope in a local region but it can still receive global information. Extensive experiments on four vision tasks, including image classification, object and keypoint detection, semantics segmentation and action recognition, show that our approach outperforms or is on par with state-of-the-art ViT variants including many concurrent works. Our source codes and models are available at https://github.com/ibm/regionvit.

연구 동기 및 목표

• Vision Task에 맞춘 아키텍처를 직접 NLP 스타일 디자인을 가져오는 것이 아니라 시각 작업에 최적화하여 ViT를 동기 부여하고 개선합니다.
• 전역 지역 정보를 집계하고 로컬 상세 상호 작용을 통합하는 피라미드 기반 region-to-local 주의 메커니즘을 제안합니다.
• 지역 토큰이 로컬 토큰과 연관되어 글로벌 및 로컬 맥락 단서를 모두 포착하도록 합니다.

제안 방법

• 여러 패치 크기에서 이미지를 regional 토큰으로 생성하여 지역 표현을 형성합니다.
• 모든 regional 토큰 간에 regional self-attention을 계산하여 글로벌 정보를 포착합니다.
• 각 regional 토큰과 해당 지역 로컬 토큰 간의 로컬 self-attention을 수행하여 로컬 디테일을 정제합니다.
• 피라미드 Transformer 프레임워크 내에서 regional와 local 주의를 통합하여 글로벌 정보를 로컬 영역으로 전달합니다.

실험 결과

연구 질문

• RQ1 피라미드 Vision Transformer에서 regional-to-local attention이 표준 시각 작업에서 글로벌 self-attention 변형보다 우수할 수 있는가?
• RQ2 regional-global 컨텍스트를 로컬-지역 상호작용과 결합하는 것이 분류, 검출, 분할 및 동작 인식의 성능에 어떤 영향을 미치는가?
• RQ3 RegionViT 프레임워크가 글로벌 지역 토큰에서 국소화된 토큰 상호작용으로 효과적으로 정보를 교환할 수 있게 하는가?
• RQ4 지역 토큰 생성을 위해 여러 패치 크기를 사용하는 것이 다운스트림 작업에 미치는 영향은 무엇인가?

주요 결과

• RegionViT는 여러 비전 작업에서 최첨단 ViT 변형과 대등한 또는 더 나은 성능을 보인다.
• 두 단계의 regional-to-local attention은 로컬 주의 범위에도 불구하고 글로벌 정보 흐름을 로컬 영역으로 가능하게 한다.
• 지역 토큰과 연계된 로컬 토큰으로 구성된 피라미드 구조는 분류, 객체/키포인트 검출, 의미적 분할, 동작 인식에서 경쟁력 있는 성능을 제공한다.
• 이 접근 방식은 Vision Transformer 내에서 글로벌 및 로컬 맥락 단서를 통합하는 유연한 메커니즘을 제공한다.