[논문 리뷰] DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection

Shilin Xu, Xiangtai Li외 4명|arXiv (Cornell University)|2023. 10. 02.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 사전 학습된 시각-언어 모델(예: CLIP)을 활용해 훈련 중에 새로운 클래스에 대한 고품질의 가짜 레이블을 생성하는 동적 자기학습 방법인 DST-Det을 제안한다. 간단한 종단 간 파이프라인을 통해 이러한 가짜 레이블을 동적으로 필터링하고 검출 헤드에 통합함으로써, 추가 데이터, 파rameter 또는 추론 비용 없이도 새로운 클래스의 AP를 향상시킨다. 이로 인해 기존 방법 대비 LVIS에서 1.7% 향상되고 V3Det에서 6.5% 이상의 성능 향상을 달성한다.

ABSTRACT

Open-vocabulary object detection (OVOD) aims to detect the objects beyond the set of classes observed during training. This work introduces a straightforward and efficient strategy that utilizes pre-trained vision-language models (VLM), like CLIP, to identify potential novel classes through zero-shot classification. Previous methods use a class-agnostic region proposal network to detect object proposals and consider the proposals that do not match the ground truth as background. Unlike these methods, our method will select a subset of proposals that will be considered as background during the training. Then, we treat them as novel classes during training. We refer to this approach as the self-training strategy, which enhances recall and accuracy for novel classes without requiring extra annotations, datasets, and re-training. Compared to previous pseudo methods, our approach does not require re-training and offline labeling processing, which is more efficient and effective in one-shot training. Empirical evaluations on three datasets, including LVIS, V3Det, and COCO, demonstrate significant improvements over the baseline performance without incurring additional parameters or computational costs during inference. In addition, we also apply our method to various baselines. In particular, compared with the previous method, F-VLM, our method achieves a 1.7% improvement on the LVIS dataset. Combined with the recent method CLIPSelf, our method also achieves 46.7 novel class AP on COCO without introducing extra data for pertaining. We also achieve over 6.5% improvement over the F-VLM baseline in the recent challenging V3Det dataset. We release our code and models at https://github.com/xushilin1/dst-det.

연구 동기 및 목표

• 훈련과 추론 간 개념적 격차를 해소하기 위해, 훈련 중에 새로운 클래스를 배경으로 간주하지만 추론 시에는 이를 검출해야 하는 오픈-보기 객체 검출(OVOD)에서의 문제를 해결한다.
• 추가 애너테이션, 데이터셋, 또는 학습 가능한 구성 요소에 의존하지 않고도 새로운 클래스의 검출 성능을 향상시키기 위해 노력한다.
• 시각-언어 모델(VLM)의 제로샷 능력을 활용해 동적으로 가짜 레이블을 생성하고 개선하는 플러그인형 종단 간 훈련 전략을 개발한다.
• 대용량 어휘를 가진 데이터셋인 LVIS와 V3Det에서 성능 향상을 위해 VLM의 자기 지식과 RPN 출력을 활용한다.

제안 방법

• 훈련 중에 RPN의 영역 제안을 기반으로 CLIP의 제로샷 분류 능력을 활용해 새로운 클래스에 대한 가짜 레이블을 동적으로 생성한다.
• CLIP의 시각적 특징와 새로운 클래스의 텍스트 임베딩 간 코사인 유사도를 기반으로 높은 신뢰도의 제안을 필터링하는 메커니즘을 적용한다.
• 선택된 제안은 가짜 레이블로 사용되어 분류 헤드를 감독함으로써, 훈련 중에 새로운 카테고리 인식 능력을 직접 향상시킨다.
• 오프라인 개선 단계(OR)는 신뢰도 임계값을 사용해 재평가하고 제안을 필터링함으로써 가짜 레이블 품질을 향상시키며, 재현율과 정확도를 향상시킨다.
• 이 방법은 종단 간이며 플러그-인 가능하며, 추가적인 학습 가능한 구성 요소나 이중 단계 훈련 파이프라인을 필요로 하지 않는다.
• 기존 검출기와 원활하게 통합되며, 가짜 레이블을 통합하기 위해 RPN 및 RoI 헤드의 분류 손실만 수정한다.

실험 결과

연구 질문

• RQ1 훈련 중에 자기 생성된 가짜 레이블을 활용함으로써, 오픈-보기 객체 검출에서 새로운 클래스에 대한 훈련과 추론 간 격차를 해소할 수 있는가?
• RQ2 VLM과 RPN 출력을 활용한 동적 가짜 레이블 생성이 추가 데이터나 파rameter 없이 새로운 클래스 검출 성능 향상에 얼마나 효과적인가?
• RQ3 필터링 기준과 오프라인 개선이 가짜 레이블 품질과 최종 검출 정확도에 미치는 영향은 무엇인가?
• RQ4 이 방법은 COCO, LVIS, V3Det와 같이 어휘 크기가 다른 데이터셋 간에 일반화 가능한가?
• RQ5 기존의 이중 단계 또는 데이터 증강 기반 접근법과 비교했을 때, 이 방법의 성능 및 효율성은 어떠한가?

주요 결과

• DST-Det은 이전 최고 성능(SOTA) 방법인 F-VLM 대비 LVIS 데이터셋에서 새로운 클래스 AP가 1.7% 절대적으로 향상되었다.
• 10,000개 이상의 클래스를 포함하는 도전적인 V3Det 데이터셋에서, 새로운 클래스 AP가 6.5% 이상 향상되었다.
• CLIPSelf와 결합했을 때, DST-Det은 추가 학습 데이터 없이 COCO에서 새로운 클래스에 대해 46.7 AP를 달성했다.
• 오프라인 개선 단계(OR)는 이미 높은 재현율을 가진 COCO에서 성능을 크게 향상시키지만, 대용량 어휘 데이터셋인 LVIS와 V3Det에서는 제한된 성능 향상만을 보였다.
• 제거 실험 결과, 높은 신뢰도의 가짜 레이블이 핵심이며, 신뢰도 기반 필터링이 새로운 클래스의 AR과 AP를 모두 향상시킨다.
• 시각화 결과는 기존 기준 모델이 놓쳤던 새로운 클래스인 '수프'와 '맥주 병' 등을 성공적으로 검출하고 세그먼테이션하는 데에 효과적임을 보여준다.