[논문 리뷰] Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector

Qi Fan, Wei Zhuo외 2명|arXiv (Cornell University)|2019. 08. 06.

Advanced Neural Network Applications참고 문헌 63인용 수 37

한 줄 요약

이 논문은 Attention-RPN과 Multi-Relation Detector를 갖춘 few-shot 물체 탐지 네트워크를 contrastive 학습으로 학습하고, 1000-category FSOD 데이터셋을 제시하며, 미세 조정 없이 최첨단 결과를 달성합니다.

ABSTRACT

Conventional methods for object detection typically require a substantial amount of training data and preparing such high-quality training data is very labor-intensive. In this paper, we propose a novel few-shot object detection network that aims at detecting objects of unseen categories with only a few annotated examples. Central to our method are our Attention-RPN, Multi-Relation Detector and Contrastive Training strategy, which exploit the similarity between the few shot support set and query set to detect novel objects while suppressing false detection in the background. To train our network, we contribute a new dataset that contains 1000 categories of various objects with high-quality annotations. To the best of our knowledge, this is one of the first datasets specifically designed for few-shot object detection. Once our few-shot network is trained, it can detect objects of unseen categories without further training or fine-tuning. Our method is general and has a wide range of potential applications. We produce a new state-of-the-art performance on different datasets in the few-shot setting. The dataset link is https://github.com/fanq15/Few-Shot-Object-Detection-Dataset.

연구 동기 및 목표

• 재학습 없이 보이지 않는 카테고리를 탐지하는 일반적인 few-shot 물체 탐지 모델을 개발한다.
• 지원-쿼리 유사도를 활용하여 제안 생성 및 탐지 정확도를 향상시킨다.
• RPN에 주의(어텐션) 메커니즘과 다중 관계(detector)를 도입하여 배경 오탐을 억제한다.
• 강력한 few-shot 평가를 위해 1000 카테고리의 크고 다양한 FSOD 데이터셋을 구축한다.
• Fine-tuning 없이 ImageNet Detection과 MS COCO에서 강한 성능을 입증한다.

제안 방법

• 지원 정보를 depth-wise cross-correlation를 통해 통합하는 Attention-RPN을 갖춘 가중치 공유 Faster R-CNN 프레임워크를 사용하여 제안을 필터링한다.
• 지원-쿼리 관계를 측정하고 제안을 재점수하기 위해 global, local, patch 헤드를 갖춘 다중 관계 검출기를 통합한다.
• 동일 카테고리 매칭과 다른 카테고리 구분에서 학습하는 2-way contrastive 학습 전략을 적용하여 판별력을 향상시킨다.
• 전체 모델로서 2-way 5-shot contrastive 방식으로 FSOD에서 엔드 투 엔드로 학습하고, 선택적으로 ImageNet과 COCO에서 사전 학습을 수행한다.
• same-category 지원들 간의 평균화를 통해 강건한 지원 표현을 형성하여 Attention RPN과 검출기에 융합한다.

실험 결과

연구 질문

• RQ1 재학습 없이 지원 이미지 정보를 통해 공유 가중치 탐지 프레임워크가 새로운 카테고리를 탐지할 수 있는가?
• RQ2 어텐션 기반 RPN이 일반 RPN에 비해 few-shot 탐지에서 제안 품질을 개선하는가?
• RQ3 탐지기에 글로벌, 로컬, 패치 등 여러 관계 헤드가 있으면 few-shot 매칭에 보완적 이득을 제공하는가?
• RQ4 다른 카테고리를 구분하는 2-way contrastive 학습 전략이 few-shot 탐지 성능을 향상시키는가?
• RQ5 제안된 FSOD 데이터셋이 표준 벤치마크에서 미발견 카테고리에 대한 일반화에 어떤 영향을 미치는가?

주요 결과

• Attention-RPN은 일반 RPN에 비해 리콜 및 ABO 점수를 향상시키고, 더 높은 AP50 및 AP75를 달성한다.
• 세 가지 헤드 모두를 사용하는 전체 다중 관계 검출기가 단일 헤드 구성보다 더 높은 AP50 및 AP75를 달성한다.
• 2-way 5-shot contrastive 학습은 단순 학습에 비해 강력한 이득을 제공하며, 여러 데이터셋에서 미세 조정 없이 최첨단 결과를 달성한다.
• FSOD에서 학습된 모델이 COCO에서 학습된 모델보다 보이지 않는 카테고리에 더 잘 일반화되며, 특히 5-shot 설정에서 그렇다.
• FSOD 데이터셋은 전통적인 데이터셋보다 적은 카테고리로도 탁월한 few-shot 성능과 다양성 혜택을 제공한다.