[논문 리뷰] An Extendable, Efficient and Effective Transformer-based Object Detector

Hwanjun Song, Deqing Sun외 6명|arXiv (Cornell University)|2022. 04. 17.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 재구성된 어텐션 모듈(RAM)을 통해 비전 트랜스포머(ViT)와 검출 트랜스포머(DETR)를 통합함으로써 선형 복잡도와 높은 효율성을 달성하는 완전히 트랜스포머 기반의 객체 검출기인 ViDT를 제안한다. 이는 엔드 투 엔드 트랜스포머 기반 검출기 중에서 최고 수준의 AP-지연 시간 트레이드오프를 달성하며, ViDT+는 큰 백본을 사용해 COCO에서 53.2 AP를 기록했고, 가장 작은 버전은 오직 14M 파라미터만을 사용한다.

ABSTRACT

Transformers have been widely used in numerous vision problems especially for visual recognition and detection. Detection transformers are the first fully end-to-end learning systems for object detection, while vision transformers are the first fully transformer-based architecture for image classification. In this paper, we integrate Vision and Detection Transformers (ViDT) to construct an effective and efficient object detector. ViDT introduces a reconfigured attention module to extend the recent Swin Transformer to be a standalone object detector, followed by a computationally efficient transformer decoder that exploits multi-scale features and auxiliary techniques essential to boost the detection performance without much increase in computational load. In addition, we extend it to ViDT+ to support joint-task learning for object detection and instance segmentation. Specifically, we attach an efficient multi-scale feature fusion layer and utilize two more auxiliary training losses, IoU-aware loss and token labeling loss. Extensive evaluation results on the Microsoft COCO benchmark dataset demonstrate that ViDT obtains the best AP and latency trade-off among existing fully transformer-based object detectors, and its extended ViDT+ achieves 53.2AP owing to its high scalability for large models. The source code and trained models are available at https://github.com/naver-ai/vidt.

연구 동기 및 목표

• 비전 트랜스포머와 검출 트랜스포머 간의 단순 통합으로 인한 비효율성과 확장성 한계를 해결하기 위해.
• 앵커 생성이나 비최대 억제(NMS) 없이도 엔드 투 엔드 학습이 가능한 객체 검출기 설계를 위해.
• 다중 척도 특징 융합과 보조 학습 기법을 지원하는 경량이고 효율적인 넥 구조 설계를 위해.
• 최소한의 계산 비용으로 객체 검출과 인스턴스 세그멘테이션을 동시에 지원할 수 있는 통합 아키텍처를 제공하기 위해.
• 오직 14M 파라미터만을 사용하는 가장 작은 모델 버전으로도 높은 정확도와 추론 속도 트레이드오프를 달성하기 위해.

제안 방법

• Swin 트랜스포머와 같은 ViT 변종이 단일 어텐션 메커니즘 내에서 패치 토큰과 검출 토큰을 동시에 처리할 수 있도록 허용하는 재구성된 어텐션 모듈(RAM)을 도입하여, 이미지 크기에 대해 선형 복잡도를 달성한다.
• 검출 토큰을 직접 처리하고 다중 척도 특징을 활용하여 표현 학습을 향상시키는 경량이자 인코더가 없는 넥 디코더를 활용한다.
• 각 검출 헤드 토큰에 대한 세밀한 감독을 제공하기 위해 IoU-aware 손실과 토큰 레이블링 손실과 같은 보조 학습 손실을 적용한다.
• 다양한 척도 간 특징 표현을 향상시키기 위해 효율적인 다중 척도 특징 융합 모듈(EPFF)을 도입한다.
• 엔드 투 엔드 인스턴스 세그멘테이션을 위해 피처 피라미드와 공동 학습 목표를 추가하여 ViDT를 ViDT+로 확장한다.
• 추론 중에 디코딩 레이어를 제거하는 전략을 적용하여 속도를 가속화하면서 정확도 저하를 최소화한다.

실험 결과

연구 질문

• RQ1 ViT와 DETR 아키텍처를 융합함으로써 완전히 트랜스포머 기반의 객체 검출기가 높은 정확도와 낮은 지연 시간을 동시에 달성할 수 있는가?
• RQ2 어떻게 어텐션 메커니즘의 계산 복잡도를 줄여 선형 복잡도를 확보함으로써 확장 가능한 객체 검출을 가능하게 할 수 있는가?
• RQ3 추론 비용을 증가시키지 않으면서도 검출 성능을 효과적으로 향상시킬 수 있는 보조 학습 기법은 무엇인가?
• RQ4 통합 아키텍처가 최소한의 파라미터와 계산 비용으로 객체 검출과 인스턴스 세그멘테이션을 동시에 지원할 수 있는가?
• RQ5 하이퍼파라미터 선택(예: 검출 토큰 수, 학습 에포크 수, 디코더 레이어 수)은 어떤 것이 가장 뛰어난 정확도-속도 트레이드오프를 이끌어내는가?

주요 결과

• ViDT는 COCO 벤치마크에서 기존의 완전히 트랜스포머 기반 객체 검출기 중에서 최고의 평균 정밀도(AP)와 지연 시간 트레이드오프를 달성한다.
• Swin-nano 백본을 사용할 경우, ViDT는 오직 1400만 개의 파라미터로 47.0 AP 박스를 기록하며 높은 추론 속도를 유지한다.
• 큰 Swin-base 백본을 사용한 ViDT+는 COCO에서 53.2 AP 박스를 기록하여 대규모 모델에 대한 뛰어난 확장성을 입증한다.
• 검출 토큰 수를 100에서 300으로 늘일 경우, 지연 시간 증가가 미미한 가운데 AP 박스가 1.7~1.9 포인트 향상된다.
• 학습을 150 에포크(기존의 3배)로 늘일 경우, FPS를 유지하면서도 AP 박스가 2.2~2.4 포인트 향상된다.
• 추론 중에 두 개의 디코딩 레이어를 제거하면 FPS가 10% 이상 향상되며, AP 박스는 미미한 감소만을 보인다.