[논문 리뷰] Open-Vocabulary Object Detection Using Captions

Alireza Zareian, Kevin Dela Rosa외 2명|arXiv (Cornell University)|2020. 11. 20.

Multimodal Machine Learning Applications참고 문헌 41인용 수 17

한 줄 요약

이 논문은 이미지-캡션 쌍을 활용해 시각-언어 공간을 사전 훈련하고, 기본 클래스의 바운딩 박스 애너테이션으로 미세조정하는 새로운 이단계 방법인 오픈 뷰어 객체 검출(OVD)을 제안한다. 이 방법은 제로샷 검출에서 27.5% mAP, 일반화된 제로샷 설정에서 39.9% mAP를 달성하여 이전 최고 성능 방법들을 크게 능가한다.

ABSTRACT

Despite the remarkable accuracy of deep neural networks in object detection, they are costly to train and scale due to supervision requirements. Particularly, learning more object categories typically requires proportionally more bounding box annotations. Weakly supervised and zero-shot learning techniques have been explored to scale object detectors to more categories with less supervision, but they have not been as successful and widely adopted as supervised models. In this paper, we put forth a novel formulation of the object detection problem, namely open-vocabulary object detection, which is more general, more practical, and more effective than weakly supervised and zero-shot approaches. We propose a new method to train object detectors using bounding box annotations for a limited set of object categories, as well as image-caption pairs that cover a larger variety of objects at a significantly lower cost. We show that the proposed method can detect and localize objects for which no bounding box annotation is provided during training, at a significantly higher accuracy than zero-shot approaches. Meanwhile, objects with bounding box annotation can be detected almost as accurately as supervised methods, which is significantly better than weakly supervised baselines. Accordingly, we establish a new state of the art for scalable object detection.

연구 동기 및 목표

• 새로운 카테고리에 대해 광범위한 바운딩 박스 애너테이션을 요구하는 감독 학습 기반 객체 검출의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 학습 중에 사용된 기본 클래스 이외의 객체를 추가적인 애너테이션 데이터 없이 검출할 수 있도록 하기 위해.
• 약한 감독 기반의 이미지-캡션 데이터를 활용해 오픈 뷔어 의미 학습을 수행하고, 정확한 국소화를 위해 감독 기반의 바운딩 박스 데이터를 활용함으로써 인식과 국소화를 통합하기 위해.
• 두 데이터 소스를 효과적으로 조합함으로써 제로샷 및 약한 감독 기반 검출을 초월하는 새로운 패러다임을 구축하기 위해.

제안 방법

• 대규모 이미지-캡션 데이터셋에서 Faster R-CNN 백본을 사전 훈련하여 풍부한 오픈 뷔어 시각-언어 임베딩 공간을 학습한다.
• 기본 클래스에 대한 바운딩 박스 애너테이션이 포함된 작은 데이터셋에서 모델을 미세조정하면서 사전 훈련된 시각-언어 지식을 유지한다.
• 이미지 특징을 클래스 임베딩으로 매핑하는 시각-언어(V2L) 투영 레이어를 도입하여, 미지의 카테고리에 대한 제로샷 일반화를 가능하게 한다.
• 미세조정 중에 V2L 레이어를 동결하여 목표 클래스로의 일반화 능력을 유지하고 기본 클래스에 대한 과적합을 방지한다.
• 사전 훈련 기간 동안 지도 기반의 지정 및 보조 목표를 동시에 최적화하기 위해 다중모odal 트랜스포머 모듈을 사용하여 의미 정렬을 향상시킨다.
• 사전 훈련에서 확보한 ResNet 및 V2L 가중치를 하류 검출 작업으로 이관하여 효과적인 지식 전이를 보장한다.

실험 결과

연구 질문

• RQ1 학습 중에 볼 수 없었던 객체 카테고리에 대해 바운딩 박스 애너테이션이 전혀 없이도, 이미지-캡션 쌍으로 훈련된 모델이 이들을 검출하고 국소화할 수 있는가?
• RQ2 기본적인 제로샷 학습 방법과 비교했을 때, 이미지-캡션 데이터로 사전 훈련하면 제로샷 검출 성능이 얼마나 향상되는가?
• RQ3 제한된 바운딩 박스 애너테이션과 함께, 캡션에서 유도된 약한 감독 신호가 검출 성능 향상에 얼마나 기여하는가?
• RQ4 사전 훈련 및 미세조정 파이프라인에서 강력한 제로샷 일반화를 달성하는 데 가장 중요한 요소는 무엇인가?

주요 결과

• OVR-CNN는 제로샷 검출에서 27.5% mAP를 달성하여 이전 최고 성능(10% mAP)보다 17个百分点 향상되었다.
• 일반화된 제로샷 설정에서는 OVR-CNN가 39.9% mAP를 기록하여 약한 감독 기반 기준선(26% mAP)을 크게 앞서며 성능을 뛰어나게 하였다.
• 제거 실험 결과, 이미지-캡션 데이터로의 사전 훈련이 필수적임을 입증하였으며, 이를 제거할 경우 모든 클래스에서 mAP가 18.1%로 감소하였다.
• V2L 레이어는 일반화에 핵심적인 역할을 하며, 미세조정 중에 동결하지 않을 경우 제로샷 성능이 27.5%에서 23.4% mAP로 떨어졌다.
• 낮은 품질의 Conceptual Captions 데이터셋을 사용하더라도 OVR-CNN는 34.3% mAP를 기록하여 모든 ZSD 기준선을 초월하며 노이즈가 많은 데이터에 대한 강건성을 입증하였다.
• ResNet 가중치만 이관하는 것은 부족하며, V2L 레이어의 이관이 효과적인 지식 전이와 오픈 뷔어 일반화를 위해 필수적임을 확인하였다.