[논문 리뷰] A Survey of Self-Supervised and Few-Shot Object Detection

Gabriel Huang, Issam Laradji외 3명|arXiv (Cornell University)|2021. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 종합적 리뷰는 자기지도 학습 및 소수 샘플 객체 검출 방법을 포괄적으로 분석하며, 레이블이 없는 데이터로부터 강력한 시각적 표현을 학습함으로써 자기지도 사전학습이 소수 샘플 일반화 성능을 향상시키는 방식을 분석한다. DETReg과 같은 최신 기법들이 자기지도 학습을 통해 백본과 검출 헤드를 동시에 사전학습함으로써 MS COCO에서 최고 성능(SOTA)을 달성한 점을 강조한다.

ABSTRACT

Labeling data is often expensive and time-consuming, especially for tasks such as object detection and instance segmentation, which require dense labeling of the image. While few-shot object detection is about training a model on novel (unseen) object classes with little data, it still requires prior training on many labeled examples of base (seen) classes. On the other hand, self-supervised methods aim at learning representations from unlabeled data which transfer well to downstream tasks such as object detection. Combining few-shot and self-supervised object detection is a promising research direction. In this survey, we review and characterize the most recent approaches on few-shot and self-supervised object detection. Then, we give our main takeaways and discuss future research directions. Project page at https://gabrielhuang.github.io/fsod-survey/

연구 동기 및 목표

• 최근 소수 샘플 및 자기지도 학습 객체 검출 분야의 발전을 체계적으로 리뷰하고 분류하는 것.
• 객체 검출에 적합하지 않은 분류 중심 자기지도 표현의 한계를 분석하고 향상 방안을 규명하는 것.
• 소수 샘플 환경에서 백본 및 검출 헤드 구성 요소에 대한 자기지도 사전학습의 성능을 평가하는 것.
• 저데이터, 준지도 학습, 제로샷 객체 검출 분야의 주요 추세와 향후 연구 방향을 규명하는 것.
• 지도 학습, 소수 샘플, 자기지도 학습 파라다임 간의 방법에 대한 분류 체계와 벤치마크 비교를 제공하는 것.

제안 방법

• 사전학습 전략에 따라 방법을 분류: 지도 학습 기반 백본, 자기지도 학습 기반 백본 및 검출 헤드, 또는 전체 아키텍처의 자기지도 학습.
• 자기지도 사전학습을 위한 사전과제(task)를 검토: 대조 학습(예: SimCLR, MoCo), 인스턴스 식별, 마스킹 오토인코더.
• 자기지도 표현을 객체 검출 헤드 및 영역 제안 네트워크(RPN)에 미세조정하거나 적응시키는 방법을 분석.
• MS COCO 및 PASCAL VOC와 같은 표준 벤치마크에서 저샷 및 소수 샘플 환경에서의 성능을 평가.
• 자기지도 학습 방법을 지도 학습 기반 베이스라인과 비교하고, 검출 작업으로의 표현 이행 가능성 분석.
• 자기지도 사전학습을 전체 Faster R-CNN 아키텍처에 적용하는 최고 성능 기법인 DETReg을 도입하고 논의.

실험 결과

연구 질문

• RQ1 이미지 분류를 위해 훈련된 자기지도 표현이 객체 검출로 어떻게 이행되는가? 그 한계는 무엇인가?
• RQ2 소수 샘플 객체 검출 성능 향상에 기여하는 주요 아키텍처 및 사전학습 구성 요소는 무엇인가?
• RQ3 백본만 사전학습하는 것과 백본, RPN, 헤드를 모두 사전학습하는 전체 검출기의 자기지도 사전학습 전략을 비교하면 어떤가?
• RQ4 mini-COCO나 1% COCO 서브셋과 같은 저데이터 환경에서 자기지도 학습 기법의 성능 향상은 어느 정도인가?
• RQ5 소수 샘플, 준지도 학습, 제로샷 검출 방법 간의 관계는 무엇이며, 서로 다른 방법 간의 통찰은 무엇인가?

주요 결과

• 백본, RPN, 검출 헤드를 포함한 전체 객체 검출기 아키텍처에 대한 자기지도 사전학습이 MS COCO에서 소수 샘플 객체 검출 분야에서 최고 성능(SOTA)을 달성한다.
• DETReg과 같은 기법들은 자기지도 학습을 통해 모든 구성 요소를 동시에 사전학습함으로써 백본만 사전학습하는 기법들을 능가하는 성능을 달성한다.
• 대조 또는 인스턴스 식별 목적함수를 사용해 ImageNet 또는 COCO에서 사전학습한 자기지도 표현은 국소화 최적화가 되지 않았더라도 객체 검출 작업으로 강력한 이행 성능를 보인다.
• 자기지도 사전학습의 성능 향상은 특히 1% 또는 5%의 MS COCO 애너테이션과 같은 저데이터 환경에서 두드러진다.
• ImageNet Top-1 정확도와 최종 검출 성능 사이에 뚜렷한 격차가 존재하며, 이는 분류 최적화를 위한 자기지도 학습이 검출에 최적화되지 않았음을 시사한다.
• 향후 향상 가능성은 검출기 구성 요소의 공동 사전학습과 비전-언어 사전 지식 통합에서 비롯될 것으로 보이며, 제로샷 검출 기법에서 볼 수 있듯이.