[논문 리뷰] Few-shot Object Detection via Feature Reweighting

Bingyi Kang, Zhuang Liu외 4명|arXiv (Cornell University)|2018. 12. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 17

한 줄 요약

이 논문은 메타 특징과 경량 재가중 모듈을 활용하여 극소수의 레이블링된 예시만으로도 새로운 클래스에 적응할 수 있는 few-shot 객체 검출 프레임워크를 제안한다. 기반 클래스로부터 일반화 가능한 특징을 학습하고, 지원 이미지 기반으로 특징을 동적으로 재가중시함으로써, 특히 저샷 설정에서 최신 기술 수준의 성능을 달성하며, 여러 데이터셋에서 강력한 기준 모델을 크게 앞서나간다.

ABSTRACT

Conventional training of a deep CNN based object detector demands a large number of bounding box annotations, which may be unavailable for rare categories. In this work we develop a few-shot object detector that can learn to detect novel objects from only a few annotated examples. Our proposed model leverages fully labeled base classes and quickly adapts to novel classes, using a meta feature learner and a reweighting module within a one-stage detection architecture. The feature learner extracts meta features that are generalizable to detect novel object classes, using training data from base classes with sufficient samples. The reweighting module transforms a few support examples from the novel classes to a global vector that indicates the importance or relevance of meta features for detecting the corresponding objects. These two modules, together with a detection prediction module, are trained end-to-end based on an episodic few-shot learning scheme and a carefully designed loss function. Through extensive experiments we demonstrate that our model outperforms well-established baselines by a large margin for few-shot object detection, on multiple datasets and settings. We also present analysis on various aspects of our proposed model, aiming to provide some inspiration for future few-shot detection works.

연구 동기 및 목표

• 희귀하거나 새로운 카테고리에 대해 충분한 레이블링된 바운딩 박스가 부족한 저데이터 환경에서 객체 검출 문제를 해결하기 위해.
• 인간의 저샷 학습 능력을 모방하여, 극소수의 레이블링된 예시만으로도 검출 모델을 새로운 클래스에 신속히 적응시킬 수 있도록 하기 위해.
• 기반 클래스에서의 지식을 효과적으로 새로운 클래스로 전이하기 위해 특징 재가중을 통한 검출 프레임워크를 설계하기 위해.
• 기존의 CNN 모델이 데이터 부족으로 인해 과적합하는 저샷 설정에서 일반화 능력과 검출 정확도를 향상시키기 위해.

제안 방법

• 모델은 풍부한 훈련 데이터를 가진 기반 클래스로부터 일반화 가능한 특징을 추출하기 위해 메타 특징 학습기 사용.
• 경량 재가중 모듈은 지원 이미지(객체 마스크 포함)를 입력으로 받아 쿼리 이미지 특징을 조절하는 클래스별 재가중 벡터를 생성.
• 재가중 벡터는 각 새로운 클래스에 관련된 분류 가능한 메타 특징을 적극적으로 강조하여 검출 성능을 향상시킴.
• 전체 시스템은 철저히 설계된 손실 함수를 사용한 에피소드 기반 저샷 학습 방식으로 엔드 투 엔드로 훈련됨.
• 프레임워크는 일단계 검출기 아키텍처를 기반으로 하며, 최적의 성능를 위해 깊은 특징 레이어(예: 레이어 21)에서 재가중을 적용함.
• 다중 클래스 분류를 위해 소프트맥스 손실을 사용하며, 이는 이진 손실 대비 중복 검출을 억제하여 성능을 향상시킴.

실험 결과

연구 질문

• RQ1 극소수의 레이블링된 예시만으로도 새로운 객체 클래스에 일반화할 수 있는 검출 모델을 훈련시킬 수 있는가?
• RQ2 기반 클래스에서 유도된 메타 특징을 어떻게 효과적으로 재가중하여 새로운 객체를 검출할 수 있는가?
• RQ3 효율적인 재가중을 위해 최적의 지원 입력 위치와 형태(이미지, 마스크, 잘라낸 객체 등)는 무엇인가?
• RQ4 손실 함수의 선택(예: 소프트맥스 대비 이진)이 저샷 검출 성능에 어떤 영향을 미치는가?
• RQ5 표준 미세조정 대비 재가중 메커니즘이 검출 속도와 정확도를 향상시키는가?

주요 결과

• 제안된 모델은 PASCAL VOC에서 10샷 설정에서 새로운 클래스에 대해 47.2% mAP를 달성하여, 다음으로 우수한 기준 모델보다 5个百分点 이상 높은 성능을 보였다.
• 분류에 소프트맥스 손실을 사용할 경우, 단일 이진 손실 대비 새로운 클래스 mAP가 32.4% 향상되었으며(14.8%에서 47.2%로), 성능 향상이 뚜렷했다.
• 더 깊은 레이어(예: 레이어 21)에서 재가중을 적용할 경우, 레이어 13보다 더 높은 성능(47.2% 대비 40.7%)을 기록했다.
• 지원 입력에 이진 마스크를 포함시킬 경우, 단순 이미지만 사용한 경우보다 새로운 클래스에서 성능이 3.9% 향상되었으며, 정확한 국소화의 중요성을 입증했다.
• 기반 클래스에서도 높은 성능(69.7% mAP)을 유지하면서도 새로운 클래스에서 높은 정확도를 달성함으로써, 효과적인 지식 전이가 이루어졌음을 시사했다.
• 제거 실험 결과, 레이어 21의 특징 중 절반만 재가중해도 성능 저하가 미미함(46.9% 대비 47.2%)을 보여주어, 클래스 간 특징 공유가 효과적임을 확인했다.