[논문 리뷰] CAT: Cross-Attention Transformer for One-Shot Object Detection

Weidong Lin, Yuyan Deng외 6명|arXiv (Cornell University)|2021. 04. 30.

Advanced Neural Network Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 쿼리 이미지와 타겟 이미지 간의 의미적 유사성 비교를 향상시키기 위해 이중 스트림 트랜스포머를 통해 双방향, 격자 수준의 대응 관계를 모델링하는 one-shot object detection를 위한 Cross-Attention Transformer (CAT) 모듈을 제안한다. 이 방법은 성능 저하 없이 효율적인 특징 압축을 통해 COCO, VOC, FSOD 벤치마크에서 최신 기술 수준(SOTA)의 정확도를 달성하면서도 이전 SOTA인 CoAE보다 약 2.5배 빠른 속도로 작동한다.

ABSTRACT

Given a query patch from a novel class, one-shot object detection aims to detect all instances of that class in a target image through the semantic similarity comparison. However, due to the extremely limited guidance in the novel class as well as the unseen appearance difference between query and target instances, it is difficult to appropriately exploit their semantic similarity and generalize well. To mitigate this problem, we present a universal Cross-Attention Transformer (CAT) module for accurate and efficient semantic similarity comparison in one-shot object detection. The proposed CAT utilizes transformer mechanism to comprehensively capture bi-directional correspondence between any paired pixels from the query and the target image, which empowers us to sufficiently exploit their semantic characteristics for accurate similarity comparison. In addition, the proposed CAT enables feature dimensionality compression for inference speedup without performance loss. Extensive experiments on COCO, VOC, and FSOD under one-shot settings demonstrate the effectiveness and efficiency of our method, e.g., it surpasses CoAE, a major baseline in this task by 1.0% in AP on COCO and runs nearly 2.5 times faster. Code will be available in the future.

연구 동기 및 목표

• one-shot object detection에서 단 한 개의 레이블링된 예시만으로 새로운 객체 클래스를 탐지하는 문제에 대응하기 위해.
• 극심한 클래스 불균형과 외관 변동성이 존재하는 환경에서 쿼리 이미지와 타겟 이미지 간의 의미적 유사성 비교를 향상시키기 위해.
• 정확도를 희생시키지 않고 one-shot 탐지에 대한 특징 표현을 향상시키는 경량화되고 효율적이며 일반적인 모듈을 개발하기 위해.
• 기존 최신 기술 수준의 방법들과 비교해 뛰어난 탐지 성능과 더 빠른 추론 속도를 동시에 달성하기 위해.

제안 방법

• CAT 모듈은 쿼리 및 타겟 이미지의 격자 수준 특징 간의 교차 attention을 계산하기 위해 두 개의 교차하는 트랜스포머 스트림을 사용하여 픽셀-패치 수준에서 이중 방향 대응 관계를 포착한다.
• 모델은 쿼리 및 타겟 이미지에서 공유 특징을 추출하기 위해 시아미즈 백본(ResNet-50)을 사용한 후 이를 CAT 모듈에 입력한다.
• rich한 대응 정보를 활용함으로써 CAT 모듈은 효과적인 특징 차원 압축을 가능하게 하여 최종 특징 차원을 성능 저하 없이 256로 감소시킨다.
• 프레임워크는 이중 단계 탐지 파이프라인에 통합된다: 첫 번째 단계에서 CAT은 쿼리-타겟 대응 기반으로 특징을 향상시키고, 두 번째 단계에서 영역 제안 네트워크와 분류기로 객체를 탐지하고 분류한다.
• 모델은 COCO, VOC, FSOD 벤치마크에서 일관된 데이터 분할을 유지하는 표준 one-shot 탐지 프rotocol에 따라 훈련된다.
• 하이퍼파rameter 분석 결과, 압축된 특징 차원 $d_m = 256$ 설정이 정확도와 속도 사이의 최적의 트레이드오프를 달성한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모듈이 쿼리 및 타겟 이미지 간의 이중 방향, 격자 수준의 대응 관계를 효과적으로 모델링하여 one-shot object detection을 향상시킬 수 있는가?
• RQ2 제안된 CAT 모듈은 제한된 감독 환경과 큰 외관 변동성 하에서 의미적 유사성 비교를 어떻게 향상시키는가?
• RQ3 CAT 처리 후 특징 차원을 얼마나 압축할 수 있으며, 탐지 성능 저하 없이 유지할 수 있는가?
• RQ4 제안된 방법은 기존 최신 기술 수준의 one-shot 탐지기보다 더 높은 정확도와 더 빠른 추론 속도를 달성하는가?
• RQ5 모델은 보고 적은 클래스에서 보지 못한 클래스로의 일반화 능력이 zero-shot 및 few-shot 설정에서 어떻게 작용하는가?

주요 결과

• COCO 데이터셋에서 제안된 방법은 재현된 CoAE 기준선 대비 평균 AP에서 1.0% 높고, AP50에서 0.9% 높은 성능을 달성했다.
• VOC 데이터셋에서 모델은 미리보지 않은 클래스에서 mAP를 1.3점 향상시켰으며, CoAE보다 약간 더 나은 일반화 성능을 보였다.
• FSOD 데이터셋에서 모델은 신규 클래스에서 AP가 1.7% 높고, AP75가 2.5% 높은 성능을 기록했으며 CoAE를 초월했다.
• 모델은 NVIDIA RTX-2080Ti에서 16.3 FPS로 작동하며, 더 작은 특징 차원을 사용하고 있음에도 불구하고 CoAE의 5.9 FPS보다 약 2.5배 더 빠르다.
• Ablation 연구 결과, $d_m = 256$가 정확도와 추론 속도 사이의 최적 균형을 제공함을 확인했으며, $d_m = 1024$는 과적합을 유도하고 $d_m = 128$는 AP 2점 감소를 초래했다.
• 시각화 결과는 CAT 모듈이 쿼리 클래스와 일치하는 객체에 초점을 맞추기 위해 점차적으로 attention 맵을 정교화함을 보여주며, 의미적 대응 관계 향상에 기여한다는 것을 확인했다.