[논문 리뷰] Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment

Guangxing Han, Shiyuan Huang외 3명|arXiv (Cornell University)|2021. 04. 15.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 소수의 예시로도 성능을 높일 수 있도록 경량 프로토타입 매칭 네트워크와 주의 기반 특징 정렬을 사용하여 제안 영역 생성과 분류를 향상시키는 메타러닝 기반의 소수 샘플 객체 검출 프레임워크인 Meta Faster R-CNN을 제안한다. 추론 시 미세조정 없이도 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 1/2-shot과 같은 극한의 소수 샘플 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Few-shot object detection (FSOD) aims to detect objects using only a few examples. How to adapt state-of-the-art object detectors to the few-shot domain remains challenging. Object proposal is a key ingredient in modern object detectors. However, the quality of proposals generated for few-shot classes using existing methods is far worse than that of many-shot classes, e.g., missing boxes for few-shot classes due to misclassification or inaccurate spatial locations with respect to true objects. To address the noisy proposal problem, we propose a novel meta-learning based FSOD model by jointly optimizing the few-shot proposal generation and fine-grained few-shot proposal classification. To improve proposal generation for few-shot classes, we propose to learn a lightweight metric-learning based prototype matching network, instead of the conventional simple linear object/nonobject classifier, e.g., used in RPN. Our non-linear classifier with the feature fusion network could improve the discriminative prototype matching and the proposal recall for few-shot classes. To improve the fine-grained few-shot proposal classification, we propose a novel attentive feature alignment method to address the spatial misalignment between the noisy proposals and few-shot classes, thus improving the performance of few-shot object detection. Meanwhile we learn a separate Faster R-CNN detection head for many-shot base classes and show strong performance of maintaining base-classes knowledge. Our model achieves state-of-the-art performance on multiple FSOD benchmarks over most of the shots and metrics.

연구 동기 및 목표

• 학습 예제가 제한되어 있을 경우 소수 샘플 클래스의 객체 제안 영역 품질이 낮아져 잘못된 또는 정렬되지 않은 바운딩 박스가 발생하는 문제를 해결하기 위해.
• 기존의 RPN과 선형 분류기의 한계를 극복하기 위해 비선형이고 거리 기반의 프로토타입 매칭 메커니즘을 도입하여 소수 샘플 설정에서의 성능을 향상시키기 위해.
• 소수 샘플 객체 특징과 제안 영역 간의 공간적 정렬 불일치 문제를 명시적으로 다루어 세밀한 제안 영역 분류 성능을 향상시키기 위해.
• 기본 클래스와 새로운 클래스의 검출을 분리하기 위해 기본 클래스 전용 별도의 Faster R-CNN 헤드를 학습시켜 성능을 유지하면서도 재학습 없이도 새로운 클래스를 점진적으로 추가할 수 있도록 하기 위해.
• 메타러닝을 통해 새로운 클래스의 제로샷 배포를 가능하게 하여 추론 시에 오직 프로토타입 계산만 필요로 하여 고비용의 미세조정을 피하기 위해.

제안 방법

• 표준 RPN의 선형 분류기를 비선형이고 메트릭 러닝 기반의 프로토타입 매칭 네트워크로 대체하는 메타-RPN을 제안하여 소수 샘플 클래스의 카테고리별 제안 영역을 생성한다.
• 다중 스케일 특징을 융합하여 프로토타입 매칭 성능을 향상시키기 위한 특징 융합 네트워크를 사용하여 소수 샘플 클래스의 분류 능력을 강화한다.
• 제안 영역 특징과 클래스 프로토타입 간의 소프트 대응 맵을 추정하여 공간적 정렬 불일치를 보정하는 주의 기반 특징 정렬 모듈을 도입한다.
• 소프트 대응 맵을 기반으로 공간 주의를 적용하여 특징을 정렬하고, 프로토타입과의 유사도를 계산하기 전에 전경 영역에 집중한다.
• 기본 클래스에서 메타러닝을 통해 전체 모델을 훈련시켜 추론 시에만 지원 이미지에서 프로토타입을 계산함으로써 새로운 클래스에 대해 제로샷 추론을 가능하게 한다.
• 풍부한 데이터로 훈련된 별도의 기본 클래스 검출 헤드를 유지하여 성능을 확보하면서도 소수 샘플 검출 헤드와의 분리 구조를 확보한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 극도로 제한된 상황에서 메타러닝 기반 접근 방식이 소수 샘플 객체 검출의 제안 영역 생성 품질을 향상시킬 수 있는가?
• RQ2 특징 융합을 통한 비선형 프로토타입 매칭 네트워크가 선형 분류기 대비 소수 샘플 클래스의 재현율과 분류 능력을 얼마나 향상시키는가?
• RQ3 주의 기반 특징 정렬이 노이즈가 많은 제안 영역과 소수 샘플 객체 특징 간의 공간적 정렬 불일치를 어느 정도 완화하는가?
• RQ4 기본 클래스 전용 별도의 검출 헤드가 재학습 없이도 새로운 클래스의 점진적 학습을 가능하게 하면서도 높은 성능을 유지할 수 있는가?
• RQ5 표준 벤치마크에서 극한의 소수 샘플 설정(예: 1/2-shot)에서 메타러닝 전용 추론 전략이 미세조정 전략보다 어떻게 비교되는가?

주요 결과

• 제안된 Meta Faster R-CNN은 다양한 소수 샘플 객체 검출 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 미세조정이 실패하기 쉬운 1/2-shot 설정에서 뛰어난 성능을 보였다.
• 메타러닝 전용 모델은 강력한 기준 모델을 능가하며, 특히 더 도전적인 MSCOCO 1/2-shot 벤치마크에서 미세조정을 사용한 SOTA 결과와 유사하거나 이를 초월하는 성능을 보였다.
• 미세조정이 효과가 떨어지는 극도의 소수 샘플 설정(예: 1/2-shot)에서도 뛰어난 성능을 보여 메타러닝 접근 방식의 강건성을 입증하였다.
• 기본 클래스 전용 별도의 검출 헤드가 소수 샘플 검출 헤드와 함께 사용된 경우에 비해 성능을 크게 향상시켰으며, 메타테스트 성능과 전체 지도 학습 성능 간 격차를 줄였다.
• 주의 기반 특징 정렬 메커니즘이 공간적 정렬 불일치를 효과적으로 감소시켜 더 정확한 소수 샘플 제안 영역 분류를 가능하게 하였다.
• 모델은 재학습이나 미세조정 없이도 새로운 클래스의 점진적 추가가 가능하며, 추론 시에 오직 프로토타입 계산만 필요로 하므로 실세계 적용에 적합하다.