[논문 리뷰] One-Shot Object Detection without Fine-Tuning

Xiang Li, Lin Zhang외 3명|arXiv (Cornell University)|2020. 05. 08.

Advanced Neural Network Applications참고 문헌 29인용 수 18

한 줄 요약

이 논문은 일괄 학습(fine-tuning)이 필요 없도록 하는 두 단계(one-shot) 객체 검출 모델을 제안한다. 이는 높은 재현율을 갖는 제안 생성을 위한 Matching-FCOS 네트워크와 정밀한 분류 및 국소화를 위한 구조 인식 관계 모듈(SARM)을 결합함으로써 달성된다. 새로운 학습 전략, 즉 쿼리-지원 특징 유사도 탐색과 제2단계 지식 전이를 통해 PASCAL VOC에서 one-shot 설정에서 최신 기준(SOTA) 성능을 달성하였으며, 이는 일괄 학습이 필요한 이전 방법들을 능가한다.

ABSTRACT

Deep learning has revolutionized object detection thanks to large-scale datasets, but their object categories are still arguably very limited. In this paper, we attempt to enrich such categories by addressing the one-shot object detection problem, where the number of annotated training examples for learning an unseen class is limited to one. We introduce a two-stage model consisting of a first stage Matching-FCOS network and a second stage Structure-Aware Relation Module, the combination of which integrates metric learning with an anchor-free Faster R-CNN-style detection pipeline, eventually eliminating the need to fine-tune on the support images. We also propose novel training strategies that effectively improve detection performance. Extensive quantitative and qualitative evaluations were performed and our method exceeds the state-of-the-art one-shot performance consistently on multiple datasets.

연구 동기 및 목표

• 단 한 장의 레이블링된 지원 이미지만을 사용하여 새로운 객체 카테고리의 검출 문제를 해결하면서 일괄 학습이 필요 없도록 하는 것.
• 일괄 학습에 의존하는 기존 소수 샘플 검출 방법의 한계를 극복하여 과적합 및 실용성 저하 문제를 해결하는 것.
• 메트릭 학습을 앵커 기반 아님, Faster R-CNN 스타일의 검출 파이프라인과 통합하여 저자료 환경에서의 검출 성능을 향상시키는 것.
• 내부 클래스 분산을 줄이고, 미지의 클래스에 대한 특징 표현을 향상시키기 위한 학습 전략 개발.
• 지원 이미지와 쿼리 이미지 간의 구조적 및 상관관계 특징을 활용하여 새로운 클래스로의 일반화를 가능하게 하는 것.

제안 방법

• 두 단계 검출 파이프라인 도입: 첫 번째 단계에서 Matching-FCOS는 피드포워드 방식으로 지원 및 쿼리 특징을 메트릭 학습을 통해 정렬함으로써 높은 재현율의 객체 제안을 생성한다.
• 두 번째 단계에서 구조 인식 관계 모듈(SARM)은 지원 및 쿼리 특징 간의 공간적 관계를 모델링하여 세밀한 분류 및 박스 회귀를 수행한다.
• 쿼리-지원 특징 유사도 탐색을 제안하여 쿼리와 지원 이미지 간의 높은 유사도 특징 쌍을 선택함으로써 학습 중 내부 클래스 분산을 줄인다.
• 수평 반전을 통한 지원 증강을 적용하여 불변성과 새로운 객체 방향에 대한 일반화 능력을 향상시킨다.
• 정답 기반 제안 필터링을 통해 제2단계 분류 전에 저품질 제안을 제거함으로써 학습 품질을 향상시킨다.
• 제2단계 지식 전이(SSKT)를 구현하여 FSS와 같은 추가 데이터셋으로부터 지식을 전이함으로써 SARM의 분류 능력을 향상시키되, 국소화 성능은 저하시키지 않는다.

실험 결과

연구 질문

• RQ1 일괄 학습 없이도 one-shot 객체 검출 모델이 높은 성능을 달성할 수 있는가?
• RQ2 메트릭 학습이 앵커 기반 아님, 두 단계 검출 프레임워크에 효과적으로 통합되어 소수 샘플 일반화 성능을 향상시킬 수 있는가?
• RQ3 특징 유사도 탐색 및 제안 필터링과 같은 학습 전략이 저샷 설정에서 검출 정확도를 얼마나 향상시키는가?
• RQ4 보조 데이터셋에서의 지식 전이가 국소화 성능에 악영향을 주지 않고 제2단계 분류기 성능을 향상시킬 수 있는가?
• RQ5 지원-쿼리 특징 간의 구조적 관계 모델링이 one-shot 시나리오에서 검출 정밀도를 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 one-shot 검출 조건에서 PASCAL VOC에서 46.1%의 AP 50 성능을 달성하였으며, 일괄 학습이 필요한 LSTD 및 Repmet과 같은 최신 기준 방법들을 크게 능가한다.
• 쿼리-지원 특징 유사도 탐색은 기준 모델 대비 AP 50를 5.8%p 향상시켜 학습 중 내부 클래스 분산을 줄이는 데 효과적임을 입증한다.
• 수평 반전을 통한 지원 증강은 AP 50를 1.9% 향상시켜, CNN의 객체 방향에 대한 불변성 부족을 보완하는 데에 데이터 증강이 도움이 된다는 것을 시사한다.
• 정답 기반 제안 필터링은 AP 50를 0.8% 향상시켜, 저품질 제안을 제거함으로써 SARM 학습 품질 향상이 가능함을 보여준다.
• 제2단계 지식 전이(SSKT)는 FSS 데이터로 직접 학습하는 것보다 AP 50를 2.8% 향상시켜, 분류 성능 향상에 기여하면서 국소화 성능에 부정적 영향을 최소화함을 입증한다.
• 절단 분석 결과, 제안된 모든 학습 전략이 성능 향상에 기여하며, SARM는 AP 50 및 AP 75 모두에서 전역 평균 및 표준 Faster R-CNN 헤드보다 뛰어난 성능을 보였다.