[논문 리뷰] A Simple Single-Scale Vision Transformer for Object Localization and Instance Segmentation

Wuyang Chen, Xianzhi Du외 9명|arXiv (Cornell University)|2021. 12. 17.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 계층적 설계나 다중 해상도 특징 없이 객체 검출 및 인스턴스 세그멘테이션에서 뛰어난 성능을 내는 단순한 단일 해상도 비전 트랜스포머 백본인 유니버설 비전 트랜스포머(UViT)을 제안한다. 일정한 특징 해상도와 히든 사이즈를 유지하고 점진적인 윈도우형 자기주의를 사용함으로써, UViT는 파arameter 수가 훨씬 적고 COCO 벤치마크에서 더 뛰어난 효율성을 보이며 스윙 트랜스포머와 리스넷을 능가한다.

ABSTRACT

This work presents a simple vision transformer design as a strong baseline for object localization and instance segmentation tasks. Transformers recently demonstrate competitive performance in image classification tasks. To adopt ViT to object detection and dense prediction tasks, many works inherit the multistage design from convolutional networks and highly customized ViT architectures. Behind this design, the goal is to pursue a better trade-off between computational cost and effective aggregation of multiscale global contexts. However, existing works adopt the multistage architectural design as a black-box solution without a clear understanding of its true benefits. In this paper, we comprehensively study three architecture design choices on ViT -- spatial reduction, doubled channels, and multiscale features -- and demonstrate that a vanilla ViT architecture can fulfill this goal without handcrafting multiscale features, maintaining the original ViT design philosophy. We further complete a scaling rule to optimize our model's trade-off on accuracy and computation cost / model size. By leveraging a constant feature resolution and hidden size throughout the encoder blocks, we propose a simple and compact ViT architecture called Universal Vision Transformer (UViT) that achieves strong performance on COCO object detection and instance segmentation tasks.

연구 동기 및 목표

• 비전 트랜스포머가 조밀 예측 작업에서 CNN 기반의 계층적 설계(예: 다중 해상도 특징, 공간 축소)가 필수적이라는 가정을 도전한다.
• 기본적인 비전 트랜스포머 아키텍처가 객체 검출 및 인스턴스 세그멘테이션을 위한 강력하고 최소한의 기준 모델이 될 수 있는지 평가한다.
• 비전 트랜스포머의 조밀 예측 작업에서 다중 해상도 특징, 채널 두배, 공간 축소와 같은 아키텍처 선택의 진정한 기여를 규명한다.
• 정확도, FLOPs, 모델 크기 간의 트레이드오���을 최적화하는 비전 트랜스포머를 위한 복합 스케일링 규칙을 수립한다.
• 자기주의가 본질적으로 비국소적 맥락을 포착하므로 특징 피라미드를 명시적으로 필요로 하지 않음을 입증한다.

제안 방법

• 모든 인코더 블록에서 일정한 특징 해상도와 히든 사이즈를 유지하는 단일 해상도 비전 트랜스포머(UViT)를 제안하며, 공간 축소나 다중 해상도 특징 설계를 피한다.
• 깊이에 따라 윈도우 크기가 점진적으로 증가하는 프로그레시브 윈도우형 자기주의 메커니즘을 도입하여 계산 비용을 줄이면서도 성능을 유지한다.
• 정확도와 효율성 간의 트레이드오퍼를 최적화하기 위해 깊이, 너비, 입력 해상도에 걸쳐 균일한 스케일링 전략을 적용한다.
• COCO 2017에서 객체 검출 및 인스턴스 세그멘테이션을 위해 표준 캐스케이드 마스크 R-CNN 프레임워크를 사용하며, 896×896 해상도에서 다중 해상도 훈련을 수행한다.
• 이미지넷-1K의 레이블이 없는 데이터를 사용해 편재 레이블링을 통한 자기학습을 적용하여 성능을 추가로 향상시킨다.
• 공간 축소, 채널 두배, 다중 해상도 특징이 비전 트랜스포머 성능에 미치는 영향을 분리하기 위해 광범위한 에이블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 CNN의 다단계 계층적 설계가 객체 검출 및 인스턴스 세그멘테이션과 같은 조밀 예측 작업에서 비전 트랜스포머에 필수적인가?
• RQ2 일정한 해상도와 히든 사이즈를 갖는 기본 비전 트랜스포머 아키텍처가 더 복잡한 맞춤형 비전 트랜스포머 아키텍처를 능가할 수 있는가?
• RQ3 비전 트랜스포머의 조밀 예측 작업에서 다중 해상도 특징, 공간 축소, 채널 두배의 실제 기여는 무엇인가?
• RQ4 프로그레시브 윈도우형 자기주의가 고해상도 검출 작업에서 성능을 훼손하지 않으면서 계산 비용을 줄일 수 있는가?
• RQ5 정확도, FLOPs, 모델 크기 간의 트레이드오퍼를 최적화하기 위해 비전 트랜스포머를 위한 복합 스케일링 규칙을 어떻게 설계할 수 있는가?

주요 결과

• UViT는 단지 7440만 개의 파라미터와 1160.1 GFLOPs로 COCO 인스턴스 세그멘테이션에서 52.5 박스 AP와 44.8 마스크 AP를 달성하며 스윙-비 및 리스넷-152를 효율성 면에서 능가한다.
• 자기학습을 적용한 UViT-B는 53.9 박스 AP와 46.1 마스크 AP를 기록하여 기본 모델 대비 각각 1.4%, 1.3% 향상된 성능을 보였다.
• 유사한 FLOPs 조건에서 UViT 모델은 스윙 트랜스포머 대비 최소 44.9% 적은 파라미터를 사용하여 뛰어난 파라미터 효율성을 보였다.
• 에이블레이션 연구 결과, 다중 해상도 특징과 공간 축소는 비전 트랜스포머에 거의 기여하지 않으며, 프로그레시브 윈도우형 접근법은 계산 비용을 줄이면서도 안정적인 성능 유지를 확인했다.
• 제안된 복합 스케일링 규칙 덕분에 UViT-T(4000만 파라미터 미만)와 같은 컴act한 UViT 변종이 COCO 벤치마크에서 강력한 정확도를 유지할 수 있었다.
• 결과적으로 원래의 비전 트랜스포머 설계 철학(즉, CNN 기반의 수정 없이)이 조밀한 시각 작업을 위한 강력하고 단순한 기준 모델이 될 수 있음을 입증했다.