[논문 리뷰] Detecting Everything in the Open World: Towards Universal Object Detection

Zhenyu Wang, Yali Li외 5명|arXiv (Cornell University)|2023. 03. 21.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중 소스, 이종 데이터셋과 시각-언어 사전학습을 활용하여 강력한 제로샷 일반화 성능을 달성하는 유니버설 객체 검출 프레임워크인 UniDetector를 제안한다. 영역 제안 생성과 분류를 분리하고 확률 캘리브레이션을 적용함으로써 UniDetector는 7,000개 이상의 카테고리 검출에 성공하였으며, COCO에서 신규 카테고리에 대해 이전 방법보다 3.5% 향상되고 LVIS에서 2.6% 향상되었으며, 피팅 트레이닝 없이도 최신 기술 수준의 오픈월드 성능을 보여주며 최소한의 학습 데이터로도 구현된다.

ABSTRACT

In this paper, we formally address universal object detection, which aims to detect every scene and predict every category. The dependence on human annotations, the limited visual information, and the novel categories in the open world severely restrict the universality of traditional detectors. We propose UniDetector, a universal object detector that has the ability to recognize enormous categories in the open world. The critical points for the universality of UniDetector are: 1) it leverages images of multiple sources and heterogeneous label spaces for training through the alignment of image and text spaces, which guarantees sufficient information for universal representations. 2) it generalizes to the open world easily while keeping the balance between seen and unseen classes, thanks to abundant information from both vision and language modalities. 3) it further promotes the generalization ability to novel categories through our proposed decoupling training manner and probability calibration. These contributions allow UniDetector to detect over 7k categories, the largest measurable category size so far, with only about 500 classes participating in training. Our UniDetector behaves the strong zero-shot generalization ability on large-vocabulary datasets like LVIS, ImageNetBoxes, and VisualGenome - it surpasses the traditional supervised baselines by more than 4\% on average without seeing any corresponding images. On 13 public detection datasets with various scenes, UniDetector also achieves state-of-the-art performance with only a 3\% amount of training data.

연구 동기 및 목표

• 기존 검출기들이 고정된 폐쇄 세계 데이터셋에 의존하여 새로운, 알려지지 않은 카테고리로의 일반화에 실패하는 한계를 해결하기 위해.
• 다양하고 다중 소스의 데이터셋을 활용하여 이종 레이블 공간을 가진 학습을 통해 커버리지와 표현 학습을 향상시키기 위해.
• 시각-언어 사전학습을 활용하고 예측 편향을 완화하여 새로운 카테고리로의 제로샷 일반화를 향상시키기 위해.
• 제안 생성과 분류를 분리하는 학습 프레임워크를 개발하여 오픈월드 환경에서의 강건성을 향상시키기 위해.
• 기본 클래스에서의 과신을 줄이고 새로운 카테고리에 대한 공정성을 향상시키기 위해 예측 확률을 캘리브레이션하기 위해.

제안 방법

• UniDetector는 다수의 이종 레이블 공간을 가진 데이터셋 간의 이미지 및 텍스트 임베딩을 정렬하기 위해 파artitioned 학습 구조를 사용하여, 레이블 공간 충돌 없이 공동 학습을 가능하게 한다.
• 영역 제안 생성 단계와 RoI 분류 단계를 분리하여, 제안 네트워크가 클래스 무관 지역화 네트워크(Class-Agnostic Localization Network, CLN)를 사용해 국소화에 집중할 수 있도록 한다.
• CLN은 국소화 품질과 신뢰도 점수 모두를 최적화하여 높은 품질의 클래스 무관 제안을 생성하도록 훈련되어, 알려지지 않은 클래스로의 일반화를 향상시킨다.
• 모든 카테고리에 대한 사전 확률를 추정하고 예측 분포를 재가중하여 기본 클래스에서의 과신을 줄이기 위해 확률 캘리브레이션을 적용한다.
• 프리트레이닝된 시각-언어 모델(예: CLIP)을 활용하여 이미지와 클래스 이름 모두를 임bedding하여, 새로운 카테고리에서의 제로샷 추론을 가능하게 한다.
• COCO, Objects365, ImageNet의 조합을 사용하여 이미지 수준의 레이블을 활용하여 대규모 다중 소스 사전학습을 수행한다.

Figure 1 : Illustration for the universal object detector. It aims to detect every category in every scene and should have the ability to utilize images of multiple sources with heterogeneous label spaces for training and generalize to the open world for inference.

실험 결과

연구 질문

• RQ1 이종 레이블 공간을 가진 다중 소스 데이터셋에서 효과적으로 학습하면서도 특징 일致성을 유지할 수 있는가?
• RQ2 영역 제안 생성과 분류를 분리함으로써 오픈월드 검출에서 제로샷 일반화가 어떻게 향상되는가?
• RQ3 확률 캘리브레이션은 예측 편향을 어느 정도 줄이고 새로운 카테고리에서의 성능을 향상시키는가?
• RQ4 시각-언어 사전학습을 사용할 경우, 어떤 피팅 트레이닝 없이도 많은 수의 새로운 카테고리를 탐지하는 데 어떤 영향을 미치는가?
• RQ5 대용량 어휘, 오픈월드 데이터셋에서 기존 검출기와 비교해 UniDetector의 성능과 데이터 효율성은 어떠한가?

주요 결과

• UniDetector는 COCO에서 신규 카테고리에 대해 35.2%의 박스 AP를 달성하여, 이전 최고 기술(RregionCLIP, 31.7%)을 3.5% 초월하며 어떤 피팅 트레이닝 없이도 성능 향상을 보였다.
• LVIS 데이터셋에서 UniDetector는 신규 카테고리에 대해 29.3%의 박스 AP와 26.5%의 마스크 AP를 기록하여 Detic보다 각각 2.6%와 1.6% 높게 기록하였다.
• 학습 데이터의 10%만으로도 UniDetector는 신규 카테고리 AP에서 OWL-ViT를 1.3% 초월하여 높은 데이터 효율성을 입증하였다.
• CLN를 사용한 분리된 학습은 표준 RPN 대비 3.1% 향상되고 캐스케이드 RPN 대비 1.5% 향상되어 더 뛰어난 일반화 성능을 보였다.
• 확률 캘리브레이션은 LVIS에서 신규 카테고리 AP를 2% 이상 향상시켜 기본 클래스와 신규 클래스 간의 성능 격차를 크게 줄였다.
• 일부 설정에서는 단일 검출 데이터셋만을 사용했음에도 UniDetector는 최고 기술 수준의 성능을 달성하여 강력한 유니버설리티와 확장성의 가능성을 보여주었다.

Figure 2 : Overview of UniDetector. It consists of three steps. With the image-text pre-training parameters, UniDetector is trained with images of different sources with multiple label spaces. In this way, it can directly detect in the open world for inference. ’V’ denotes the module to process visu