[논문 리뷰] Query Adaptive Few-Shot Object Detection with Heterogeneous Graph Convolutional Networks

Guangxing Han, Yicheng He외 3명|arXiv (Cornell University)|2021. 12. 17.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 제안 영역와 클래스 프로토타입 간의 다중관계적 상호작용을 모델링하기 위해 이종 그래프 컨volution 네트워크를 사용하는 쿼리 적응형 소수 샘플 객체 검출 모델인 QA-FewDet을 제안한다. 두 단계의 그래프 구조를 통해 클래스-클래스, 클래스-제안, 제안-제안 메시지 전달을 통합함으로써, PASCAL VOC 및 MSCOCO 벤치마크에서 소수 샘플 설정에서 AP50 기준 이전 방법보다 4% 이상 우수한 최신 기술 성능을 달성한다.

ABSTRACT

Few-shot object detection (FSOD) aims to detect never-seen objects using few examples. This field sees recent improvement owing to the meta-learning techniques by learning how to match between the query image and few-shot class examples, such that the learned model can generalize to few-shot novel classes. However, currently, most of the meta-learning-based methods perform pairwise matching between query image regions (usually proposals) and novel classes separately, therefore failing to take into account multiple relationships among them. In this paper, we propose a novel FSOD model using heterogeneous graph convolutional networks. Through efficient message passing among all the proposal and class nodes with three different types of edges, we could obtain context-aware proposal features and query-adaptive, multiclass-enhanced prototype representations for each class, which could help promote the pairwise matching and improve final FSOD accuracy. Extensive experimental results show that our proposed model, denoted as QA-FewDet, outperforms the current state-of-the-art approaches on the PASCAL VOC and MSCOCO FSOD benchmarks under different shots and evaluation metrics.

연구 동기 및 목표

• 기존 메타학습 기반 소수 샘플 객체 검출 방법이 상호작용을 고립된 이원적 연산으로 간주하여 상호 클래스 또는 맥락적 관계를 모델링하지 못하는 한계를 해결하기 위해.
• 그래프 기반 메시지 전달을 통해 맥락 인식 제안 특징과 쿼리 적응형, 다중클래스 강화 프로토타입을 학습하여 특징 표현을 향상시키기 위해.
• 클래스-제안 간 에지로 상호 적응을 가능하게 하여 제안 특징과 클래스 프로토타입 간의 분포 불일치를 감소시키기 위해.
• 이종 그래프 구조에서 유도된 맥락적 및 관계적 인덕티브 비스를 활용하여 극한의 소수 샘플 설정(예: 1-shot)에서 검출 정확도를 향상시키기 위해.
• 다양한 샷 설정과 벤치마크에서 스케일링 가능한, 엔드 투 엔드로 트레이닝 가능한 효율적인 그래프 기반 아키텍처를 개발하기 위해.

제안 방법

• 클래스-클래스(다중클래스 관계 모델링용), 클래스-제안(상호 적응용), 제안-제안(국소 및 전역 맥락용)의 세 가지 유형의 간선을 포함하는 이종 그래프를 구축한다.
• 그래프를 두 개의 하위그래프로 분할한다: 상호 클래스 관계를 위한 쿼리 무관형 인터클래스 서브그래프와, 각 쿼리에 특화된 인트라클래스 서브그래프를 통해 내부 클래스 메시지 전달을 수행한다.
• 그래프 컨volution 네트워크를 사용하여 노드 간 효율적인 메시지 전달을 수행하며, 관계적 맥락에 기반해 제안 특징과 클래스 프로토타입을 업데이트한다.
• 기본 클래스 데이터에 대해 에피소드 기반 트레이닝을 수행하여, 새로운 클래스에 대한 피니튜닝 없이도 일반화 가능한 소수 샘플 검출 정책을 학습한다.
• 프로토타입 학습과 그래프 전파를 통합하여, 소수 샘플 변동성에 강건한 쿼리 적응형, 다중클래스 강화된 클래스 표현을 생성한다.
• 엔드 투 엔드 트레이닝을 통해 특징 추출, 그래프 메시지 전달, 매칭 헤드 예측의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 유사한 기본 클래스로부터 지식을 전이함으로써 다중클래스 관계를 모델링하면 소수 샘플 객체 검출 성능 향상이 가능할까?
• RQ2 제안-제안 및 클래스-제안 메시지 전달을 통합하면 특징 품질 향상과 제안과 프로토타입 간의 분포 이탈 감소에 기여할까?
• RQ3 다양한 간선 유형을 가진 이종 그래프 구조가 극한의 소수 샘플 설정에서 이원적 매칭 방식을 능가할 수 있을까?
• RQ4 제안된 그래프 기반 메시지 전달 방식은 다양한 샷 설정에서 표준 메타학습 기반 베이스라인 대비 일반화 및 강건성 측면에서 어떻게 비교되는가?
• RQ5 그래프 기반 모델은 피니튜닝 기반 접근 방식에 비해 1-shot 및 2-shot 검출에서 과적합을 얼마나 줄일 수 있는가?

주요 결과

• QA-FewDet는 PASCAL VOC 1-shot에서 42.4% AP, 10-shot에서 63.4% AP를 달성하여 대부분의 샷 설정에서 이전 최신 기술보다 AP50 기준 4.0% 이상 뛰어난 성능을 보였다.
• MSCOCO에서 모델은 10-shot 검출에서 35.2% AP, 42.9% AP50, 47.8% AP75를 기록하며, 피니튜닝을 사용하는 모든 이전 방법을 뛰어넘었다.
• PASCAL VOC에서 1-shot 검출 시 QA-FewDet는 5.1% AP와 10.5% AP50를 달성하여 이전 최신 기술인 4.9% AP와 10.3% AP50를 크게 상회했다.
• 모델는 1/2/3-shot과 같은 극한의 소수 샘플 환경에서도 강력한 성능 유지를 보였으며, 피니튜닝 방식이 과적합으로 인해 실패하는 경우가 많은 점을 감안할 때 뛰어난 일반화 능력을 입증했다.
• 제거 실험 결과, 세 가지 간선 유형(클래스-클래스, 클래스-제안, 제안-제안) 모두 성능 향상에 기여했으며, 특히 클래스-클래스 간선가 가장 큰 기여를 했다.
• 제안된 이종 그래프 구조는 효율적인 메시지 전달과 엔드 투 엔드 트레이닝을 가능하게 하여, 새로운 클래스에 대한 피니튜닝 없이도 최신 기술 성능을 달성했다.