[논문 리뷰] Universal-Prototype Augmentation for Few-Shot Object Detection.

Aming Wu, Yahong Han외 3명|arXiv (Cornell University)|2021. 03. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 7

한 줄 요약

이 논문은 모든 객체 카테고리에서 유니버설 프로토타입을 학습하여 불변의, 카테고리에 종속되지 않는 특성 특성을 포착함으로써 특성 일반화를 향상시키는 few-shot 객체 검출 프레임워크 ${FSOD}^{up}$을 제안한다. 이러한 프로토타입으로 특성을 보강하고 손실 함수를 통해 일관성을 강제함으로써, ${FSOD}^{up}$은 few-shot 및 롱테일 검출 벤치마크에서 성능을 향상시켜 1-shot PASCAL VOC Split2에서 베이스라인 대비 6.8% mAP 향상을 달성한다.

ABSTRACT

Few-shot object detection (FSOD) aims to strengthen the performance of novel object detection with few labeled samples. To alleviate the constraint of few samples, enhancing the generalization ability of learned features for novel objects plays a key role. Thus, the feature learning process of FSOD should focus more on intrinsical object characteristics, which are invariant under different visual changes and therefore are helpful for feature generalization. Unlike previous attempts of the meta-learning paradigm, in this paper, we explore how to smooth object features with intrinsical characteristics that are universal across different object categories. We propose a new prototype, namely universal prototype, that is learned from all object categories. Besides the advantage of characterizing invariant characteristics, the universal prototypes alleviate the impact of unbalanced object categories. After augmenting object features with the universal prototypes, we impose a consistency loss to maximize the agreement between the augmented features and the original one, which is beneficial for learning invariant object characteristics. Thus, we develop a new framework of few-shot object detection with universal prototypes (${FSOD}^{up}$) that owns the merit of feature generalization towards novel objects. Experimental results on PASCAL VOC and MS COCO demonstrate the effectiveness of ${FSOD}^{up}$. Particularly, for the 1-shot case of VOC Split2, ${FSOD}^{up}$ outperforms the baseline by 6.8\% in terms of mAP. Moreover, we further verify ${FSOD}^{up}$ on a long-tail detection dataset, i.e., LVIS. And employing ${FSOD}^{up}$ outperforms the state-of-the-art method.

연구 동기 및 목표

• 라벨이 부족한 데이터에서의 few-shot 객체 검출 문제를 특성 일반화 향상으로 해결하기 위해.
• 새로운 카테고리로 일반화하기 어려운 카테고리별 프로토타입의 한계를 극복하기 위해.
• 모든 카테고리 간 공유되는 유니버설 프로토타입을 활용하여 few-shot 학습에서의 클래스 불균형 영향을 줄이기 위해.
• 불변의 본질적 객체 특성에 초점을 맞춤으로써 시각적 변형에 대한 모델의 강건성을 향상시키기 위해.
• 표준 few-shot 벤치마크와 롱테일 검출 데이터셋 양쪽에서 성능을 향상시키는 통합 프레임워크 개발하기 위해.

제안 방법

• 모든 객체 카테고리의 특징에서 학습된 유니버설 프로토타입을 도입하여 불변의, 카테고리에 종속되지 않는 특성을 포착한다.
• 유니버설 프로토타입으로 입력 객체 특징을 보강하여 그 일반화 능력을 향상시킨다.
• 원래 특징과 가까워지도록 유도하는 일관성 손실을 적용하여 의미적 통일성을 유지한다.
• 일관성 손실과 표준 검출 헤드를 함께 사용하여 엔드 투 엔드로 모델을 훈련함으로써 특징 정렬과 검출 정확도를 동시에 최적화한다.
• 유니버설 프로토타입을 함께 최적화하여 few-shot 시나리오에 적응할 수 있도록 메타학습 파라다임을 활용한다.
• 유니버설 프로토타입을 정규화 요소로 활용하여 희귀하거나 표현이 부족한 클래스에서의 특징 학습을 안정화한다.

실험 결과

연구 질문

• RQ1 모든 객체 카테고리 간 공유되는 유니버설 프로토타입이 few-shot 객체 검출에서 특성 일반화를 향상시킬 수 있는가?
• RQ2 유니버설 프로토타입을 사용하면 few-shot 학습에서 클래스 불균형의 영향을 어떻게 완화할 수 있는가?
• RQ3 원래 특징과 보강된 특징 간의 일관성은 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 LVIS 벤치마크와 같은 롱테일 검출 시나리오에 효과적으로 일반화되는가?
• RQ5 유니버설 프로토타입 접근법은 표준 few-shot 및 롱테일 검출 벤치마크에서 기존 최고 성능 기법을 초월할 수 있는가?

주요 결과

• ${FSOD}^{up}$은 1-shot PASCAL VOC Split2 벤치마크에서 베이스라인 대비 6.8% mAP 향상을 달성한다.
• LVIS 데이터셋에서 최고 성능 기법을 초월하여 롱테일 객체 검출에 대한 강력한 일반화 능력을 입증한다.
• 유니버설 프로토타입의 사용은 다양한 시각적 변형에 걸쳐 불변 특성을 강조함으로써 더 견고한 특징 학습을 이끌어낸다.
• 일관성 손실은 의미적 내용을 효과적으로 유지하면서 특징 일반화를 향상시켜 검출 정확도 향상에 기여한다.
• 다양한 few-shot 설정에서 일관된 성능 향상을 보이며, 낮은 데이터 환경에서의 효과성을 입증한다.
• 유니버설 프로토타입은 모든 카테고리 간 공통된 인덕티브 바이어스를 제공함으로써 불균형한 클래스 분포의 부정적 영향을 줄인다.