[논문 리뷰] Few-Shot Object Detection via Association and DIscrimination

Yuhang Cao, Jiaqi Wang외 5명|arXiv (Cornell University)|2021. 11. 23.

Advanced Neural Network Applications인용 수 24

한 줄 요약

이 논문은 소수의 샘플로 객체 검출을 수행하는 데 있어 특성 공간의 밀도와 클래스 간 분리도를 향상시키는 이중 단계 미세조정 프레임워크인 FADI를 제안한다. 새로운 클래스를 의미적으로 유사한 기반 클래스와 명시적으로 연관시키고, 분류 분지에 집합 전용 마진 손실을 적용하여 분리시키는 방식으로, FADI는 기준 방법 대비 최대 +18.7 mAP 향상으로 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 1- 및 3-샷 설정에서 뛰어난 성능을 보였다.

ABSTRACT

Object detection has achieved substantial progress in the last decade. However, detecting novel classes with only few samples remains challenging, since deep learning under low data regime usually leads to a degraded feature space. Existing works employ a holistic fine-tuning paradigm to tackle this problem, where the model is first pre-trained on all base classes with abundant samples, and then it is used to carve the novel class feature space. Nonetheless, this paradigm is still imperfect. Durning fine-tuning, a novel class may implicitly leverage the knowledge of multiple base classes to construct its feature space, which induces a scattered feature space, hence violating the inter-class separability. To overcome these obstacles, we propose a two-step fine-tuning framework, Few-shot object detection via Association and DIscrimination (FADI), which builds up a discriminative feature space for each novel class with two integral steps. 1) In the association step, in contrast to implicitly leveraging multiple base classes, we construct a compact novel class feature space via explicitly imitating a specific base class feature space. Specifically, we associate each novel class with a base class according to their semantic similarity. After that, the feature space of a novel class can readily imitate the well-trained feature space of the associated base class. 2) In the discrimination step, to ensure the separability between the novel classes and associated base classes, we disentangle the classification branches for base and novel classes. To further enlarge the inter-class separability between all classes, a set-specialized margin loss is imposed. Extensive experiments on Pascal VOC and MS-COCO datasets demonstrate FADI achieves new SOTA performance, significantly improving the baseline in any shot/split by +18.7. Notably, the advantage is most announced on extremely few-shot scenarios.

연구 동기 및 목표

• 낮은 데이터 환경에서 소수의 샘플로 객체 검출을 수행할 때 특성 공간의 열악한 특성과 낮은 클래스 간 분리도 문제를 해결하기 위해.
• 모든 기반 클래스를 묶어 사용하는 통합적 미세조정의 한계를 극복하기 위해, 새로운 클래스가 여러 기반 클래스를 암묵적으로 활용하면서 발생하는 내부 클래스 특성의 산산이 흩어지는 현상을 방지하기 위해.
• 각 새로운 클래스가 단일 기반 클래스와 명시적으로 연관됨으로써, 각 새로운 클래스에 대해 밀도 있고 구분 가능한 특성 공간을 구축하기 위해.
• 기반 클래스와 새로운 클래스 간의 분리도를 향상시키기 위해 분류 헤드를 분리하고, 집합 전용 마진 손실을 적용하기 위해.
• 특히 극한의 소수의 샘플 설정(1- 및 3-샷)에서 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 연관 단계에서는 의미적 유사도 측정 기준을 사용해 각 새로운 클래스를 의미적으로 유사한 기반 클래스와 연결함으로써, 새로운 클래스가 관련 기반 클래스의 잘 정리된 특성 공간을 모방할 수 있도록 한다.
• 분리 단계에서는 기반 클래스 및 새로운 클래스의 분류 분지를 분리시켜 모호성을 줄이고 결정 경계의 명확성을 향상시킨다.
• 기반 클래스, 새로운 클래스, 그리고 부정 클래스에 대해 별도의 마진을 설정하는 집합 전용 마진 손실을 도입하여 클래스 간 분리도를 극대화한다.
• 손실 구성 요소는 α, β, γ로 매개변수화되며, β는 샷 수 K에 따라 1/K로 설정되어 데이터 가용성에 따라 마진 크기를 적응적으로 조절한다.
• 이 프레임워크는 두 가지 전용 단계로 구성된 순차적 훈련을 수행한다: 먼저 연관, 그 다음 분리 단계이며, 초모델은 검증 분할에서의 분석을 통해 최적화된다.
• 본 방법은 표준 소수의 샘플 설정을 사용한 Pascal VOC 및 MS-COCO 데이터셋에서 평가되었으며, 주요 평가 지표로 mAP를 사용하였다.

실험 결과

연구 질문

• RQ1 단일 기반 클래스와의 명시적 연관성이 소수의 샘플로 객체 검출에서 내부 클래스 특성의 밀도 향상과 산산이 흩어지는 현상 감소에 기여하는가?
• RQ2 기반 클래스 및 새로운 클래스의 분류 헤드를 분리시키는 것이 클래스 간 분리도 향상과 혼동 감소에 기여하는가?
• RQ3 적응적 스케일링 기능을 갖춘 집합 전용 마진 손실이 낮은 샷 설정에서 일반화 성능 향상에 기여하는가?
• RQ4 다양한 샷 설정에서 기존의 미세조정 및 메타러닝 기반 벤치마크 대비 FADI의 성능은 어떠한가?
• RQ5 FADI는 새로운 클래스 검출 정확도 향상과 함께 기반 클래스의 기억 상실 문제를 어느 정도 완화하는가?

주요 결과

• FADI는 Pascal VOC 및 MS-COCO에서 모든 샷 설정에서 TFA 기준 대비 최대 +18.7 mAP 향상을 달성하였다.
• Pascal VOC의 새로운 클래스 분할-1에서 FADI는 1-샷 시점에 50.3 mAP, 2-샷 시점에 54.8 mAP, 3-샷 시점에 54.2 mAP를 기록하여 이전의 SOTA 방법을 크게 앞서갔다.
• 분할-1에서 각각 1-, 2-, 3-샷 설정에서 이전 SOTA 대비 2.5, 4.3, 2.8 mAP 향상을 기록하였다.
• 분할-3에서 FADI는 5-샷 설정에서 59.3 mAP를 기록하였으며, 이는 동일한 샷 설정에서 이전 SOTA 대비 5.6점 향상된 성능이었다.
• 분석 결과, 새로운 마진(β)이 성능 향상에 가장 큰 기여를 하며, β=1/K 설정이 다양한 샷 설정에서 최적의 성능을 내는 것으로 확인되었다.
• FADI는 기반 클래스의 기억 상실가 매우 적었으며, TFA 대비 기반 클래스 AP50가 평균 1.3점 감소한 반면, 새로운 클래스 AP50는 평균 10.5점 향상되었다.