[논문 리뷰] Spatial Reasoning for Few-Shot Object Detection

Geonuk Kim, Hong-Gyu Jung외 1명|arXiv (Cornell University)|2022. 11. 02.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 그래프 컬러리션 네트워크(GCN)를 사용하여 영역 제안(RoI) 간의 공간적 관계를 모델링함으로써 새로운 종류의 객체에 대한 특징 표현을 향상시키는 few-shot 객체 검출 프레임워크 FSOD-SR을 제안한다. 기존의 기반 종류와 새로운 종류의 RoI 간의 기하학적 및 동시 발생 관계를 인코딩하고, 새로운 공간적 데이터 증강 전략을 적용함으로써, PASCAL VOC와 MS COCO에서 최신 기술 수준(SOTA)의 성능을 달성하며, 소수의 예시만을 사용하는 환경에서 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Although modern object detectors rely heavily on a significant amount of training data, humans can easily detect novel objects using a few training examples. The mechanism of the human visual system is to interpret spatial relationships among various objects and this process enables us to exploit contextual information by considering the co-occurrence of objects. Thus, we propose a spatial reasoning framework that detects novel objects with only a few training examples in a context. We infer geometric relatedness between novel and base RoIs (Region-of-Interests) to enhance the feature representation of novel categories using an object detector well trained on base categories. We employ a graph convolutional network as the RoIs and their relatedness are defined as nodes and edges, respectively. Furthermore, we present spatial data augmentation to overcome the few-shot environment where all objects and bounding boxes in an image are resized randomly. Using the PASCAL VOC and MS COCO datasets, we demonstrate that the proposed method significantly outperforms the state-of-the-art methods and verify its efficacy through extensive ablation studies.

연구 동기 및 목표

• 기존의 소수의 예시 객체 검출기들이 지역적 RoI 특징에만 의존하고 맥락적인 공간적 관계를 활용하지 않는 한계를 해결하기 위해.
• 이미지 내 객체 간의 동시 발생 및 기하학적 관계를 모델링하여 새로운 종류의 객체에 대한 특징 표현을 향상시키기 위해.
• 모든 객체를 동시에 리사이징하는 방식으로, 다양성 있는 스케일과 공간적 구성 학습을 위한 훈련 샘플 수를 기하급수적으로 증가시키는 공간적 데이터 증강 전략을 개발하기 위해.
• 도메인 내 및 교차 데이터셋 설정 모두에서 강력한 소수의 예시 일반화 성능을 달성하기 위해.
• 소수의 예시로의 피지컬 테스트 중 기반 종류의 성능 저하를 줄이기 위해 동적 특징 융합 기법을 적용하기 위해.

제안 방법

• 노드가 RPN에서 유도된 RoI를 나타내고, 간선이 RoI 간의 기하학적 및 의미적 유사성을 표현하는 공간 그래프를 구성한다. 특히 새로운 종류와 기반 종류의 RoI 간의 관계를 중시한다.
• IoU(교차 영역 비율)와 기반 종류의 분류 점수를 기반으로 간선 가중치를 계산하여, 공간적 및 의미적 유사성을 캡처한다.
• 그래프 컬러리션 네트워크(GCN)를 통해 공간 그래프를 따라 맥락 정보를 전파하고 집계하여 RoI 특징을 개선한다.
• 원래 RoI 특징과 GCN 처리된 맥락 특징을 연결함으로써 개선된 특징을 형성하여, 새로운 종류의 객체에 대한 분류 능력을 향상시킨다.
• 새로운 공간적 데이터 증강 전략은 이미지 내 모든 객체를 동시에 T번 리사이징하여, 다양한 스케일과 공간 구성 학습을 위한 기하급수적인 증가된 훈련 샘플을 생성한다.
• 이러한 구성 요소들을 소수의 예시 테스트를 위한 메타학습 프레임워크에 통합하여, 소수의 예시만으로도 새로운 종류의 객체를 탐지할 수 있도록 한다.

Figure 1: Conceptual example of the human visual system for recognizing new objects using a spatial reasoning process. Even if a human has little experience of new objects and has trouble recognizing the objects individually, it is possible to recognize the objects applying a spatial reasoning proce

실험 결과

연구 질문

• RQ1 새로운 종류와 기반 종류의 객체 간 공간적 관계를 모델링하면 소수의 예시 객체 검출 성능 향상에 기여하는가?
• RQ2 객체 간 기하학적 및 동시 발생 패턴을 통합하면 희귀 종류의 특징 표현에 어떤 영향을 미치는가?
• RQ3 기반 그래프 기반의 공간적 추론 메커니즘이 소수의 예시 검출에서 기존의 RoI 수준 특징 조작 방식을 능가하는가?
• RQ4 모든 객체를 동시에 리사이징하는 공간적 데이터 증강 전략이 낮은 데이터 환경에서의 일반화 성능 향상에 기여하는가?
• RQ5 제안된 방법은 새로운 종류의 객체 탐지 성능을 크게 향상시키면서도 기반 종류의 성능을 유지할 수 있는가?

주요 결과

• 제안된 FSOD-SR 방법은 20-way 10-shot PASCAL VOC 벤치마크에서 43.2 mAP를 달성하여 이전 최신 기술 수준 방법(MPSR)보다 0.9 mAP 높은 성능을 보였다.
• 교차 데이터셋 일반화 설정(기반: MS COCO, 새로운 종류: PASCAL VOC)에서 FSOD-SR은 43.2 mAP를 기록하여 MPSR(42.3 mAP)와 Meta R-CNN(37.4 mAP)를 모두 앞섰다.
• Ablation 연구 결과, 공간 그래프와 공간적 데이터 증강 전부가 성능 향상에 기여하며, GCN 기반 추론이 mAP를 최대 3.5 포인트 향상시켰다.
• 시각화 결과, 모델이 의미적으로 타당한 기반 종류의 객체(예: 모니터, 키보드)와 공간적 근접성 및 동시 발생 기반으로 새로운 객체(예: 마우스)를 연결하는 의미 있는 공간 관계를 학습하는 것으로 나타났다.
• 모델은 새로운 도메인으로의 일반화 성능도 뛰어나, MS COCO의 60개 기반 종류에서 훈련하고 PASCAL VOC에서 소수의 예시로 피지컬 테스트한 경우 20-way 1-shot MS COCO에서 44.6 mAP를 달성했다.
• 새로운 종류의 객체 탐지 성능 향상에도 불구하고, TFA 대비 기반 종류의 mAP가 약간 감소하는 경향을 보였으며, 이는 향후 동적 특징 융합 기법을 통해 해결할 수 있는 상호 간의 성과 트레이드오프임을 시사한다.

Figure 3: Detailed flowchart of the edge regression. We transform the RoI visual features and the corresponding coordinates from an RPN into latent spaces to calculate the relatedness of RoIs. Finally, the ReLU function is exploited to build a sparse graph.