[논문 리뷰] Frustratingly Simple but Effective Zero-shot Detection and Segmentation: Analysis and a Strong Baseline

Siddhesh Khandelwal, Anirudth Nambirajan외 3명|arXiv (Cornell University)|2023. 02. 14.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 사전 훈련된 시각어휘 임베딩(예: CLIP)과 이중 단계 훈련 과정을 활용하여 간단하면서도 매우 효과적인 제로샷 객체 검출 및 인스턴스 세그멘테이션 방법을 제안한다. 이는 복잡한 최신 기술 모델들을 능가하며, MSCOCO에서 최고 성능을 기록한다. 특히 도전적인 제로샷 분할 설정에서 이전 방법 대비 mAP가 최대 37.3% 향상되고, 재현율이 19.6% 향상된다.

ABSTRACT

Methods for object detection and segmentation often require abundant instance-level annotations for training, which are time-consuming and expensive to collect. To address this, the task of zero-shot object detection (or segmentation) aims at learning effective methods for identifying and localizing object instances for the categories that have no supervision available. Constructing architectures for these tasks requires choosing from a myriad of design options, ranging from the form of the class encoding used to transfer information from seen to unseen categories, to the nature of the function being optimized for learning. In this work, we extensively study these design choices, and carefully construct a simple yet extremely effective zero-shot recognition method. Through extensive experiments on the MSCOCO dataset on object detection and segmentation, we highlight that our proposed method outperforms existing, considerably more complex, architectures. Our findings and method, which we propose as a competitive future baseline, point towards the need to revisit some of the recent design trends in zero-shot detection / segmentation.

연구 동기 및 목표

• 객체 검출 및 세그멘테이션에서 인스턴스 수준의 애너테이션에 대한 높은 비용과 부족함을 해결하기 위해, 알려지지 않은 카테고리로의 제로샷 일반화를 가능하게 하기 위해.
• 임베딩 유형, 손실 함수, 모델 아키텍처와 같은 핵심 설계 선택 사항이 제로샷 성능에 미치는 영향을 조사하기 위해.
• 복잡한 아키텍처를 설계하는 기존 경향을 도전하기 위해, 철저한 아블레이션을 통해 단순성과 함께 뛰어난 성능을 낼 수 있음을 보여주기 위해.
• 미래의 제로샷 검출 및 세그멘테이션 연구를 위한 강력하고 재현 가능한 베이스라인을 수립하기 위해.
• CLIP와 같은 고품질 사전 훈련된 의미 임베딩의 제로샷 전이 잠재력이 아직 충분히 탐색되지 않았음을 부각하기 위해.

제안 방법

• 이 방법은 이중 단계 훈련 과정을 사용한다: 첫 번째 단계에서, 바운딩 박스 및 마스크 애너테이션을 사용하여 봉쇄 R-CNN 또는 마스크 R-CNN 검출기를 알려진 카테고리에서 사전 훈련한다.
• 두 번째 단계에서, 이미지 특징을 의미 임베딩 공간으로 매핑하기 위해 교차 엔트로피 손실을 사용하여 프로젝션 헤드를 미세 조정한다.
• 알려지지 않은 카테고리의 의미 임베딩은 CLIP나 GloVe와 같은 사전 훈련된 모델에서 유도되며, 추가적인 감독 없이 제로샷 전이를 가능하게 한다.
• 추론 중에 정규화된 클래스 이름 임베딩을 활용하여 분류 점수를 계산함으로써, 알려지지 않은 클래스의 객체 검출 및 세그멘테이션을 가능하게 한다.
• 미세 조정 중에 복잡한 보조 손실이나 어텐션 메커니즘을 피하기 위해 표준 교차 엔트로피 손실을 사용한다.
• 최종 추론은 영역 제안과 의미 임베딩 유사도를 결합하여 알려진 및 알려지지 않은 카테고리 인스턴스를 모두 예측한다.

Figure 2 : Proposed Approach with Two-step Training. The first step trains the learnable parameters of a Faster [ 37 ] / Mask [ 13 ] RCNN architecture using the seen category annotations. The second step freezes these parameters, and learns the projection matrices which, along with the semantic embe

실험 결과

연구 질문

• RQ1 Word2Vec 대비 CLIP와 같은 다양한 의미 임베딩의 선택이 제로샷 검출 및 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ2 설계 복잡도가 최소화된 단순한 모델 아키텍처가 더 복잡한 최신 기술 모델들보다 제로샷 검출 및 세그멘테이션에서 뛰어난 성능을 낼 수 있는가?
• RQ3 손실 함수, 모델 용량, 추론 전략이 제로샷 일반화에 미치는 상대적 영향은 무엇인가?
• RQ4 미세 조정된 프로젝션 헤드를 갖춘 이중 단계 훈련 과정이 아키텍처의 복잡성 없이도 최고 성능을 달성할 수 있는가?
• RQ5 아키텍처 혁신에 비해 임베딩 소스 선택이 성능에 미치는 영향이 얼마나 큰가?

주요 결과

• CLIP 임베딩을 사용한 제안된 방법(F+CLIP)은 제로샷 검출의 48/17 분할에서 이전 최고 기술 대비 mAP가 37.3% 향상되고, 재현율이 13.1% 향상되었다.
• 더 도전적인 일반화 제로샷 검출(GZSD) 설정에서, F+CLIP 버전은 가장 가까운 베이스라인 대비 조화 평균 mAP에서 평균 11% 향상된 성능을 기록했다.
• 제로샷 인스턴스 세그멘테이션에서, 이 방법은 두 분할 모두에서 HM mAP 기준으로 이전 최고 기술 대비 117.4% 향상되고, HM 재현율 기준으로 12.8% 향상되었다.
• CLIP 임베딩의 사용은 Word2Vec에 비해 훨씬 뛰어난 성능을 보여주며, 고품질의 시각어휘 사전 훈련의 중요성을 입증한다.
• 단순함에도 불구하고, 이 방법은 더 복잡한 아키텍처를 능가함으로써, 강력한 제로샷 일반화를 위해 아키텍처의 복잡성이 필수적인 것은 아님을 시사한다.
• 아블레이션 연구 결과, 아키텍처 설계 선택 사항보다 의미 임베딩의 선택이 성능에 더 큰 영향을 미치며, 이는 이전 연구에서 자주 간과된 요소이다.