[논문 리뷰] Restoring Negative Information in Few-Shot Object Detection

Yukuan Yang, Fangyun Wei외 2명|arXiv (Cornell University)|2020. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 25

한 줄 요약

이 논문은 메트릭 학습 공간에서 별도의 음성 및 양성 대표를 학습하여 음성 정보를 복원하는 few-shot object detection 프레임워크인 NP-RepMet을 제안한다. 삼중 체계 손실과 클러스터링 기반 선택 전략을 통해 딱딱하고 다양한 음성 제안을 통합함으로써, ImageNet-LOC 및 PASCAL VOC에서 기존 최고 성능(SOTA)을 크게 뛰어넘는 성능 향상을 이룬다.

ABSTRACT

Few-shot learning has recently emerged as a new challenge in the deep learning field: unlike conventional methods that train the deep neural networks (DNNs) with a large number of labeled data, it asks for the generalization of DNNs on new classes with few annotated samples. Recent advances in few-shot learning mainly focus on image classification while in this paper we focus on object detection. The initial explorations in few-shot object detection tend to simulate a classification scenario by using the positive proposals in images with respect to certain object class while discarding the negative proposals of that class. Negatives, especially hard negatives, however, are essential to the embedding space learning in few-shot object detection. In this paper, we restore the negative information in few-shot object detection by introducing a new negative- and positive-representative based metric learning framework and a new inference scheme with negative and positive representatives. We build our work on a recent few-shot pipeline RepMet with several new modules to encode negative information for both training and testing. Extensive experiments on ImageNet-LOC and PASCAL VOC show our method substantially improves the state-of-the-art few-shot object detection solutions. Our code is available at https://github.com/yang-yk/NP-RepMet.

연구 동기 및 목표

• 학습 및 추론 과정에서 제거되는 경향이 있는 음성 제안, 특히 딱딱한 음성 제안의 한계를 해결하기 위해.
• 양성 및 음성 대표 임베딩을 명시적으로 모델링하여 few-shot detection에서의 메트릭 학습을 향상시키기 위해.
• 지원 이미지에서 유래한 딱딱하고 다양한 음성 제안을 통합하여 특징 공간의 구분 능력을 향상시키기 위해.
• 새로운 추론 기반을 개발하여 신규 클래스에 대한 일반화 능력을 향상시키기 위해 양성 및 음성 대표를 모두 활용하기 위해.
• 음성 정보 복원이 few-shot object detection에서 상당한 성능 향상으로 이어진다는 것을 입증하기 위해.

제안 방법

• 양성 및 음성 제안에 대해 별도의 임베딩을 결합한 새로운 NP-임베딩 표현을 도입한다.
• 양성 및 음성 제안에 대해 별도의 최적화 목표를 가진 이중 브랜치 메트릭 학습 프레임워크를 제안하며, 삼중 체계 손실을 활용한다.
• RepMet 파이프라인을 개선하기 위해 클래스 표현을 별도의 양성 및 음성 구성요소로 분할하여 특징 조정 능력을 향상시킨다.
• IoU 기반 기준(τ < IoU < t)을 사용해 딱딱한 음성 제안을 식별한 후, 선택의 다양성을 확보하기 위해 클러스터링 기반 전략을 적용한다.
• 표준 프로토타입 기반 추론을 대체로, 테스트 시 양성 및 음성 대표 임베딩을 모두 사용하는 방식의 추론 기반을 도입한다.
• 새로운 임베딩 및 손실 구성 요소를 RepMet의 분류 헤드에 통합하여 엔드 투 엔드 학습 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딱딱한 음성 제안의 포함이 few-shot object detection 성능 향상에 기여하는가?
• RQ2 양성 및 음성 대표 학습을 별도로 처리하는 것이 few-shot detection의 메트릭 공간 품질에 어떤 영향을 미치는가?
• RQ3 다양하고 딱딱한 음성 샘플링이 새로운 클래스로의 일반화에 어떤 영향을 미치는가?
• RQ4 양성 및 음성 대표를 함께 모델링하는 메트릭 학습 프레임워크가 기존 few-shot detection 방법을 능가할 수 있는가?
• RQ5 이중 대표를 활용하는 제안된 추론 기반은 표준 프로토타입 기반 추론보다 어떻게 비교되는가?

주요 결과

• PASCAL VOC 2007의 5-shot 설정에서 NP-RepMet은 평균 정밀도(mAP) 68.3%를 달성하여 이전 SOTA인 67.9%를 뛰어넘었다.
• PASCAL VOC의 3-shot 설정에서 이 방법은 64.8% mAP를 기록했으며, 이는 이전 SOTA와 동일한 수치였지만, 클래스 간 일관성 향상으로 인해 더 우수한 성능를 보였다.
• ImageNet-LOC에서 제안된 방법은 5-shot 검출에서 79.8% mAP를 달성하여 이전 SOTA인 76.1%를 크게 뛰어넘었다.
• t-SNE 시각화 결과, 양성 대표가 클래스별로 잘 군집되어 있으며 다른 클래스와 명확히 분리되어 있음을 확인했고, 음성 대표가 서로 다른 클래스의 딱딱한 음성 제안을 명확히 구분하고 있음을 확인했다.
• 절단 분석 결과, 음성 정보 통합으로 인해 여러 few-shot 설정에서 일관된 mAP 향상(2.5–4.0%)을 기록했다.
• 클러스터링 기반 딱딱한 음성 제안 선택 전략은 무작위 또는 IoU 기반 선택보다 성능 향상을 이뤘으며, 특히 오분류 억제에 효과적이었다.