[논문 리뷰] Detect Everything with Few Examples

Xinyu Zhang, Liu, Yuhan외 2명|arXiv (Cornell University)|2023. 09. 22.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

DE-ViT는 파인튜닝 없이도 새로운 클래스를 탐지할 수 있는 few-shot 객체 검출 프레임워크를 제안한다. 이는 고정된 DINOv2 특징을 활용하고 다중 클래스 검출을 이진 분류 작업으로 전환함으로써 달성된다. COCO 및 LVIS 벤치마크에서 최신 기술 수준(SoTA) 성능을 기록하며, 이전의 few-shot 및 오픈-보기(Open-vocabulary) 검출기보다 각각 최대 15 mAP와 6.9 AP50의 성능 향상을 보였다.

ABSTRACT

Few-shot object detection aims at detecting novel categories given only a few example images. It is a basic skill for a robot to perform tasks in open environments. Recent methods focus on finetuning strategies, with complicated procedures that prohibit a wider application. In this paper, we introduce DE-ViT, a few-shot object detector without the need for finetuning. DE-ViT's novel architecture is based on a new region-propagation mechanism for localization. The propagated region masks are transformed into bounding boxes through a learnable spatial integral layer. Instead of training prototype classifiers, we propose to use prototypes to project ViT features into a subspace that is robust to overfitting on base classes. We evaluate DE-ViT on few-shot, and one-shot object detection benchmarks with Pascal VOC, COCO, and LVIS. DE-ViT establishes new state-of-the-art results on all benchmarks. Notably, for COCO, DE-ViT surpasses the few-shot SoTA by 15 mAP on 10-shot and 7.2 mAP on 30-shot and one-shot SoTA by 2.8 AP50. For LVIS, DE-ViT outperforms few-shot SoTA by 17 box APr. Further, we evaluate DE-ViT with a real robot by building a pick-and-place system for sorting novel objects based on example images. The videos of our robot demonstrations, the source code and the models of DE-ViT can be found at https://mlzxy.github.io/devit.

연구 동기 및 목표

• 파인튜닝 기반 few-shot 객체 검출 방법의 실용적 한계를 해결하기 위해, 이는 복잡하며 실세계 적용을 어렵게 한다.
• 특히 COCO 및 LVIS와 같은 도전적인 벤치마크에서 기존 방법이 오픈-보기 검출기보다 성능이 열등한 점을 개선하여 few-shot 검출 정확도를 향상시키기 위해.
• 모델 적응 또는 재학습 없이도 테스트 시점에만 지원 이미지(지원 이미지)를 사용하여 새로운 클래스에 대해 제로샷 추론을 가능하게 하기 위해.
• 강력한 성능을 달성할 수 있음을 보여주기 위해, 파인튜닝이 비용이 많이 들기 때문에 피하는 고정된 비전 트랜스포머만을 사용하는 것

제안 방법

• 각 클래스별 파인튜닝을 방지하기 위해, 단일 공유 이진 분류기로 다중 클래스 분류를 다수의 one-vs-rest 이진 분류 작업으로 변환한다.
• DINOv2를 사용해 지원 이미지 특징에서 클래스 프로토타입을 구성하며, 이는 제안 특징과 클래스 표현 간의 유사도 맵을 계산하는 데 사용된다.
• 공간 통합 레이어를 통해 유사도 맵 상의 영역을 전파함으로써 객체 바운딩 박스를 정밀하게 보정하는 새로운 전파 기반 국소화 메커니즘을 도입한다.
• 제안 특징을 유사도 맵으로 매핑하기 위한 프로토타입 투영 헤드를 사용하여, 고정된 DINOv2 특징만으로 분류 및 국소화를 동시에 수행한다.
• 일반화 성능 향상과 기본 클래스에 대한 과적합 방지를 위해 배경 프로토타입과 클래스 재배열 모듈을 도입한다.
• 모든 후행 처리를 고정된 DINOv2 특징 위에서 수행하며, 영역 제안 생성에는 표준 RPN을 사용한다.

Figure 1: Demonstration of the proposed method on YCB objects (Calli et al., 2015 ) . DE-ViT with ViT-L/14 is used for prediction. Note that our model is trained on only the base categories of LVIS. Example images of YCB objects are provided only during inference to represent novel categories.

실험 결과

연구 질문

• RQ1 강력한 사전학습된 비전 모델을 활용하여 파인튜닝 없이 few-shot 객체 검출을 달성할 수 있는가?
• RQ2 비전 트랜스포머(DINOv2)의 고정된 특징만을 사용하여 정확한 객체 국소화를 수행할 수 있는가?
• RQ3 각 클래스별 적응 없이도 통합된 이진 분류 헤드가 다중 클래스 분류 헤드보다 few-shot 검출에서 더 우수한 성능을 낼 수 있는가?
• RQ4 고정된 특징을 사용할 때 전파 기반 국소화 메커니즘이 새로운 클래스에 대한 바운딩 박스 정확도를 향상시키는가?
• RQ5 COCO 및 LVIS와 같은 도전적인 벤치마크에서, few-shot 검출기가 오픈-보기 검출기보다 AP50 및 마스크 APr 측면에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• COCO에서 10-shot 검출 시 DE-ViT는 few-shot SoTA인 LVC를 15 mAP 뛰어넘고, 30-shot 검출 시 7.2 mAP 뛰어넘었다.
• COCO에서 1-shot 검출 시 DE-ViT는 SoTA인 BHRL보다 2.8 AP50 높은 성능을 기록했다.
• LVIS에서 DE-ViT는 이전 few-shot SoTA인 DiGeo보다 20 box APr 높은 성능을 달성했다.
• COCO의 새로운 클래스에서 DE-ViT는 50 AP50를 기록했으며, 오픈-보기 SoTA인 CORA+를 6.9 AP50 뛰어넘었다.
• LVIS에서 DE-ViT는 새로운 카테고리에서 34.3 mask APr를 기록했으며, SoTA인 Ro-ViT를 1.5 mask APr 뛰어넘었다.
• 모델 파인튜닝, 딜리게이션, 추가 사전학습 데이터 없이도 고정된 DINOv2 특징만으로 최신 기술 수준의 성능을 달성했다.

Figure 2: Overview of the proposed method. Our approach uses DINOv2 ViT to encode the image into a feature map, from which proposal features are extracted using ROIAlign. Proposals are generated via an off-the-shelf RPN. Prototype projection transforms proposal features into similarity maps based on