[논문 리뷰] Revisiting Few-Shot Object Detection with Vision-Language Models

Anish Madan, Neehar Peri외 2명|arXiv (Cornell University)|2023. 12. 22.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 기초적 소수의 객체 검출(Foundational FSOD)을 제안하며, 기존의 기본/신규 클래스로의 사전 정의된 분할에 의존하지 않고, 목표 개념의 K-샷 시각적 및 텍스트 예제에 대해 미세조정하는 방식으로 시각-언어 모델(VLMs)을 평가하는 새로운 벤치마크 프로토콜을 제시한다. GroundingDINO과 같은 제로샷 VLM이 기존의 최고 수준의 FSOD 방법(코코에서 48.3 vs. 33.1 AP)을 능가하며, 연합 손실과 다중 모odal 미세조정을 통해 LVIS와 nuImages에서 각각 5.9 AP 향상을 이룬다.

ABSTRACT

The era of vision-language models (VLMs) trained on web-scale datasets challenges conventional formulations of "open-world" perception. In this work, we revisit the task of few-shot object detection (FSOD) in the context of recent foundational VLMs. First, we point out that zero-shot predictions from VLMs such as GroundingDINO significantly outperform state-of-the-art few-shot detectors (48 vs. 33 AP) on COCO. Despite their strong zero-shot performance, such foundation models may still be sub-optimal. For example, trucks on the web may be defined differently from trucks for a target application such as autonomous vehicle perception. We argue that the task of few-shot recognition can be reformulated as aligning foundation models to target concepts using a few examples. Interestingly, such examples can be multi-modal, using both text and visual cues, mimicking instructions that are often given to human annotators when defining a target concept of interest. Concretely, we propose Foundational FSOD, a new benchmark protocol that evaluates detectors pre-trained on any external data and fine-tuned on multi-modal (text and visual) K-shot examples per target class. We repurpose nuImages for Foundational FSOD, benchmark several popular open-source VLMs, and provide an empirical analysis of state-of-the-art methods. Lastly, we discuss our recent CVPR 2024 Foundational FSOD competition and share insights from the community. Notably, the winning team significantly outperforms our baseline by 23.3 mAP! Our code and dataset splits are available at https://github.com/anishmadan23/foundational_fsod

연구 동기 및 목표

• 시각-언어 모델(VLMs)과 실제 세계의 목표 개념 간의 괴리, 예를 들어 자율 주행에서의 '트레일러'와 웹 스케일 데이터 간의 괴리를 해결하기 위해.
• 기존의 소수의 객체 검출(FSOD) 파라다임이 데이터셋을 기본 클래스와 신규 클래스로 분할하는 방식이지만, 실제 운영 환경을 반영하지 못한다는 점을 도전하기 위해.
• VLM이 목표 클래스의 K-샷 시각적 및 언어 예제에 직접적으로 미세조정되는 새로운 벤치마크 프로토콜인 Foundational FSOD를 제안하기 위해.
• 소수의 객체 검출 데이터셋이 본질적으로 연합된 구조(각 하위집합이 단일 카테고리에 대해 완전히 애너테이션됨)를 지닌다는 통찰을 바탕으로, 연합 손실 함수를 활용해 미세조정 중 목표 개념과의 정렬을 향상시키기 위해.

제안 방법

• 기초 VLM을 K-샷 이미지와 관련된 클래스 이름/설명에 직접적으로 미세조정하는 새로운 벤치마크 프로토콜인 Foundational FSOD를 제안하며, 기본/신규 클래스 분할을 회피한다.
• 기존의 FSOD 벤치마크가 연합된 데이터셋이라는 통찰을 활용한다—각 이미지 하위집합이 단일 카테고리에 대해 완전히 애너테이션되어 있으므로, 연합 손실 함수를 적용할 수 있다.
• 연합 손실 함수(예: FedLoss, 역수 FedLoss, 가짜 음성 예측)를 적용하여, 미세조정 중 목표 개념과의 정렬을 향상시킨다.
• Detic 및 GroundingDINO와 같은 시각-언어 모델을 사용하며, 분류기 헤드를 CLIP 임베딩으로 초기화하여 제로샷 전이와 효율적인 소수의 적응을 가능하게 한다.
• 최적의 미세조정 전략을 규명하기 위해 분석 실험을 수행하며, 예를 들어 백본과 RPN은 고정하고 분류기 프로젝션과 박스 회귀기만 미세조정하는 전략을 확인한다.
• LVIS와 nuImages에서 성능을 검증하며, 최고 수준의 방법들과 완전한 애너테이션을 가진 오라클 상한선과 비교한다.

Figure 2 : Poor Alignment Between VLM and Target Concepts . Although VLMs show impressive zero-shot performance, they struggle when the target class is different from concepts encountered in web-scale training. On the left , we see that the nuImages dataset defines the cab of the truck as a separate

실험 결과

연구 질문

• RQ1 기본적인 미세조정 없이도, 사전 학습된 시각-언어 모델의 제로샷 추론이 기존 최고 수준의 소수의 객체 검출 방법을 능가할 수 있는가?
• RQ2 강력한 제로샷 성능를 보이는 시각-언어 모델이 도메인 특화 응용 분야에서 여전히 목표 개념을 정확히 검출하지 못하는 이유는 무엇인가?
• RQ3 K-샷 다중 모달 예제(이미지 + 텍스트 설명)로의 미세조정이 도메인 특화 환경에서 개념 정렬과 검출 성능을 향상시킬 수 있는가?
• RQ4 기존의 소수의 객체 검출 데이터셋의 연합적 성격을 어떻게 활용하여 최소한의 애너테이션 비용으로도 미세조정 성능을 향상시킬 수 있는가?
• RQ5 연합 손실 함수는 얼마나 많은 정도로, 완전한 애너테이션을 가진 오라클 상한선과 현재의 소수의 검출 성능 간 격차를 줄일 수 있는가?

주요 결과

• 사전 학습된 시각-언어 모델인 GroundingDINO의 제로샷 추론은 코코에서 48.3 AP를 기록하며, 이는 이전 최고 수준의 방법(33.1 AP)을 크게 능가한다.
• LVIS와 nuImages 벤치마크에서, 제안된 방법은 K-샷 미세조정과 연합 손실을 통해 이전 작업 대비 5.9 AP 향상을 이룬다.
• CLIP로 초기화된 분류기 헤드를 사용하고, 오직 프로젝션 레이어만 훈련하는 것이 최고의 성능을 내며, 이는 소수의 적응에서 사전 학습된 언어 임베딩의 유용성을 강조한다.
• 특히 가짜 음성 예측과 역수 FedLoss를 포함한 연합 손실의 사용은 상당한 성능 향상을 이끌어내며, 최적의 설정에서 nuImages에서 10샷일 때 16.67 AP에 도달한다.
• 분석 실험 결과, 백본과 RPN은 고정하고 분류기 프로젝션과 박스 회귀기만 미세조정하는 것이 최적의 성능을 내며, 소수의 데이터에서 과적합을 최소화한다.
• 강력한 제로샷 성능에도 불구하고, 희귀 카테고리(예: 스텐드어)는 여전히 낮은 검출 정확도를 보이며, 향후 연구에서는 모델 앙상블 또는 더 rich한 텍스트 설명이 필요함을 시사한다.

Figure 3 : Identifying Negative Pseudo-Labels . On the left , we visualize the standard $K$ -shot detection setup, which we argue is actually a federated dataset [ 11 ] where one is given multiple mini-datasets of $K$ images. In this case, we visualize two $K=1$ datasets of bus and motorcycle . Impo