[논문 리뷰] Dynamic Relevance Learning for Few-Shot Object Detection

Weijie Liu, Chong Wang외 3명|arXiv (Cornell University)|2021. 08. 04.

Advanced Neural Network Applications참고 문헌 50인용 수 14

한 줄 요약

이 논문은 소수 샘플 객체 검출을 위한 동적 관련성 학습 프레임워크를 제안하며, 동적 그래프 컬러레이션 네트워크(GCN)를 통해 쿼리 이미지의 영역 제안(RoIs)과 지원 이미지 간의 관계를 모델링한다. 상호 지원 간 및 지원-RoI 간 상호작용을 활용하여 하드 보조 분류 작업을 통해 특징 표현을 향상시켜, Pascal VOC 및 MS-COCO에서 기존 메타학습 기반 검출기보다 유의미한 mAP 향상을 이룬 최신 기술 성능을 달성한다.

ABSTRACT

Expensive bounding-box annotations have limited the development of object detection task. Thus, it is necessary to focus on more challenging task of few-shot object detection. It requires the detector to recognize objects of novel classes with only a few training samples. Nowadays, many existing popular methods adopting training way similar to meta-learning have achieved promising performance, such as Meta R-CNN series. However, support data is only used as the class attention to guide the detecting of query images each time. Their relevance to each other remains unexploited. Moreover, a lot of recent works treat the support data and query images as independent branch without considering the relationship between them. To address this issue, we propose a dynamic relevance learning model, which utilizes the relationship between all support images and Region of Interest (RoI) on the query images to construct a dynamic graph convolutional network (GCN). By adjusting the prediction distribution of the base detector using the output of this GCN, the proposed model serves as a hard auxiliary classification task, which guides the detector to improve the class representation implicitly. Comprehensive experiments have been conducted on Pascal VOC and MS-COCO dataset. The proposed model achieves the best overall performance, which shows its effectiveness of learning more generalized features. Our code is available at https://github.com/liuweijie19980216/DRL-for-FSOD.

연구 동기 및 목표

• 기존 소수 샘플 객체 검출 방법이 지원 이미지와 쿼리 RoIs를 독립적으로 다루며 상호 의존성을 忽시하는 한계를 해결하기 위해.
• 지원 이미지 간 상호관계 및 지원 이미지와 쿼리 영역 제안(RoIs) 간의 관계를 명시적으로 모델링하여 소수 샘플 검출의 일반화 성능을 향상시키기 위해.
• 동적 그래프 상호작용에서 파생된 하드 보조 분류 작업을 통해 특징 학습을 향상시켜 기본 검출기가 더 구분력 있는 표현을 학습하도록 유도하기 위해.
• 특히 제한된 애너테이션 예제가 있는 저샷 설정에서 표준 소수 샘플 검출 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 노드로 지원 이미지와 쿼리 이미지의 RoIs를 나타내는 동적 그래프를 구축하며, 특징 유사도에 기반해 간선을 동적으로 가중치를 설정한다.
• 그래프 컬러레이션 네트워크(GCN)를 적용하여 동적 그래프 전역에서 특징을 집계하고 정제함으로써 내부 지원 간 및 상호 지원 간 관계를 포착한다.
• GCN 출력을 활용해 기본 검출기의 예측 분포에 주의를 기울이고 재가중치를 적용함으로써 하드 보조 분류 헤드로 기능한다.
• 기존 메타학습 기반 검출기(예: Meta R-CNN)에 손상 없이 통합 가능한 플러그인 형태로 동적 관련성 모듈을 통합한다.
• 최종 검출 헤드와 보조 GCN 기반 분류 헤드에서 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 기본 검출기와 동적 관련성 모듈 양쪽에 백본 네트워크의 특징 맵을 입력으로 사용하여 특징 수준의 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 소수 샘플 지원 이미지 간의 상호 지원 관계를 모델링하면 검출 성능 향상에 기여하는가?
• RQ2 지원 이미지와 쿼리 영역 제안(RoIs) 간의 교차 관계를 포착하면 소수 샘플 검출에서 특징 일반화가 향상되는가?
• RQ3 동적 그래프 기반 메커니즘이 기본 검출기의 표현 학습을 향상시키는 효과적인 보조 작업으로 기능하는가?
• RQ4 기존 메타학습 기반 검출기와 비교해 본 논문의 방법은 제로샷 및 소수 샘플 일반화 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 Pascal VOC 소수 샘플 객체 검출 벤치마크에서 기존 메타학습 방법을 능가하는 최신 기술 성능을 달성한다.
• MS-COCO에서 5샷 검출 시 평균 평균 정확도(mAP)가 26.8%에 도달하여 낮은 샘플 조건에서도 강력한 일반화 성능을 입증한다.
• 절단 실험 결과, 내부 지원 간 및 지원-RoI 간 관계 모델링이 성능 향상에 기여한다는 것이 확인된다.
• 동적 그래프 구축 메커니즘이 특징의 구분력을 향상시킨다는 점이 t-SNE 시각화 결과로 입증되며, 더 명확한 클래스 간 분리가 관찰된다.
• 보조 GCN 헤드는 제한된 지원 데이터에서 과적합을 줄이는 강력한 정규화 역할을 한다.
• 이 방법은 다양한 백본 아키텍처에서 효과적이며 기존 검출 파이프라인에 원활하게 통합될 수 있다.