[논문 리뷰] Beyond Max-Margin: Class Margin Equilibrium for Few-shot Object Detection

Bohao Li, Boyu Yang외 4명|arXiv (Cornell University)|2021. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 9

한 줄 요약

이 논문은 소수 샘플 객체 검출을 위한 새로운 방법인 클래스 마진 균형(Class Margin Equilibrium, CME)을 제안한다. CME는 최대 마진(max-margin)과 최소 마진(min-margin) 간의 갈등을 균형 잡음으로써 특성 표현과 분류 간의 갈등을 해결한다. CME는 분리된 분류 헤드를 사용하고 기초 학습 중 클래스 마진 손실을 적용하며, 미세조정 단계에서 적대적 특성 방해를 통해 마진 균형을 달성한다. 이로 인해 Pascal VOC 및 MS-COCO 데이터셋에서 최신 기술 대비 최대 5% 향상된 검출 정확도를 달성한다.

ABSTRACT

Few-shot object detection has made substantial progressby representing novel class objects using the feature representation learned upon a set of base class objects. However,an implicit contradiction between novel class classification and representation is unfortunately ignored. On the one hand, to achieve accurate novel class classification, the distributions of either two base classes must be far away fromeach other (max-margin). On the other hand, to precisely represent novel classes, the distributions of base classes should be close to each other to reduce the intra-class distance of novel classes (min-margin). In this paper, we propose a class margin equilibrium (CME) approach, with the aim to optimize both feature space partition and novel class reconstruction in a systematic way. CME first converts the few-shot detection problem to the few-shot classification problem by using a fully connected layer to decouple localization features. CME then reserves adequate margin space for novel classes by introducing simple-yet-effective class margin loss during feature learning. Finally, CME pursues margin equilibrium by disturbing the features of novel class instances in an adversarial min-max fashion. Experiments on Pascal VOC and MS-COCO datasets show that CME significantly improves upon two baseline detectors (up to $3\sim 5\%$ in average), achieving state-of-the-art performance. Code is available at https://github.com/Bohao-Lee/CME .

연구 동기 및 목표

• 소수 샘플 객체 검출에서 분류를 위한 최대 마진(max-margin)과 표현을 위한 최소 마진(min-margin) 간의 암묵적 모순을 해결하기 위해.
• 통합된 프레임워크 내에서 특성 공간 분할과 새로운 클래스 재구성 최적화를 위해.
• 새로운 클래스에 대해 상위 클래스 간 분리와 내부 클래스의 밀도 간 상호보완성을 균형 잡는 마진 균형을 달성하기 위해.
• 플러그-앤플레이 모듈로 기존 검출기의 일단계 및 양단계 아키텍처를 모두 향상시키기 위해.

제안 방법

• 지오메트릭 특성과 분류 특성을 분리하기 위해 완전 연결층을 사용하여 국소화 편향이 클래스 마진을 왜곡하지 않도록 한다.
• 기초 학습 동안 클래스 마진 손실을 적용하여 기초 클래스 특성 간의 거리를 최대화함으로써 새로운 클래스를 위한 마진 공간을 유지한다.
• 미세조정 단계에서 특성 방해 모듈을 도입하여 기존의 기울기 맵을 잘라내어 새로운 클래스 특성에 대해 적대적 편향을 시뮬레이션한다.
• 방해 과정은 최소-최대(min-max) 방식으로 최적화되어 마진의 강건성과 균형을 유도한다.
• 기존 검출기의 플러그-인으로 적용 가능하여 일단계 및 양단계 아키텍처 모두를 향상시킨다.

실험 결과

연구 질문

• RQ1 소수 샘플 객체 검출에서 상위 클래스 간 분리(최대 마진)와 내부 클래스의 밀도(최소 마진) 간 갈등을 어떻게 균형 잡을 수 있는가?
• RQ2 적대적 특성 정규화는 새로운 클래스의 표현과 분류 성능을 동시에 향상시킬 수 있는가?
• RQ3 기초 학습 단계에서 마진 공간을 유지하는 것이 새로운 클래스에 대한 일반화 성능 향상에 기여하는가?
• RQ4 마진 균형은 기존의 최대 마진 또는 최소 마진 접근 방식을 초월해 소수 샘플 검출 성능을 어느 정도 향상시킬 수 있는가?

주요 결과

• Pascal VOC에서 1-shot에서 5-shot 설정까지 기준 검출기 대비 평균 3.8% 향상되었으며, 5-shot 검출에서는 최대 9.8% 향상되었다.
• MS-COCO에서 CME는 SOTA 기준인 MPSR 대비 10-shot 기준 5.3% 향상되고 30-shot 기준 2.8% 향상되었다.
• MetaDet, Meta R-CNN, 시점 추정 기반 기법을 포함한 최신 기술들보다 다양한 소수 샘플 설정에서 뛰어난 성능을 보였다.
• CME는 일단계 및 양단계 검출기 모두에서 일관된 성능 향상을 보이며 플러그-앤플레이 모듈로서의 일반화 능력을 입증했다.
• 제거 실험 결과, 클래스 마진 손실과 특성 방해 모듈이 마진 균형 달성과 성능 향상에 필수적임을 확인했다.