[논문 리뷰] Few-shot Object Detection on Remote Sensing Images

Jingyu Deng, Xiang Li외 1명|arXiv (Cornell University)|2020. 06. 14.

Advanced Neural Network Applications참고 문헌 58인용 수 7

한 줄 요약

이 논문은 원격 감지 영상에 대한 few-shot 객체 검출 방법을 제안하며, 메타학습을 활용해 단 몇 개의 레이블이 부여된 샘플만으로도 새로운 객체 항목을 탐지한다. 메타 특징 추출기, 적응형 특징 융합을 위한 재가중 모듈, 다중 척도 YOLOv3 기반 검출기의 통합을 통해, 새로운 클래스에 대해 강력한 일반화 성능을 달성하였으며, NWPU VHR-10 데이터셋에서 클래스당 최소 20장의 샘플로도 표준 YOLOv3를 능가한다.

ABSTRACT

In this paper, we deal with the problem of object detection on remote sensing images. Previous methods have developed numerous deep CNN-based methods for object detection on remote sensing images and the report remarkable achievements in detection performance and efficiency. However, current CNN-based methods mostly require a large number of annotated samples to train deep neural networks and tend to have limited generalization abilities for unseen object categories. In this paper, we introduce a few-shot learning-based method for object detection on remote sensing images where only a few annotated samples are provided for the unseen object categories. More specifically, our model contains three main components: a meta feature extractor that learns to extract feature representations from input images, a reweighting module that learn to adaptively assign different weights for each feature representation from the support images, and a bounding box prediction module that carries out object detection on the reweighted feature maps. We build our few-shot object detection model upon YOLOv3 architecture and develop a multi-scale object detection framework. Experiments on two benchmark datasets demonstrate that with only a few annotated samples our model can still achieve a satisfying detection performance on remote sensing images and the performance of our model is significantly better than the well-established baseline models.

연구 동기 및 목표

• 원격 감지 영상의 객체 검출에서 새로운 객체 항목에 대한 레이블이 제한된 문제를 해결한다.
• 적은 샘플로 훈련했을 때 딥 러닝 모델의 과적합 및 일반화 성능 열 劣화 문제를 해결한다.
• 최소한의 감독 하에 기초 클래스에서 새로운 클래스로 지식을 효과적으로 전이할 수 있도록 한다.
• 원격 감지 영상의 척도 변화와 구조적 다양성에 특화된 few-shot 검출 프레임워크를 개발한다.
• 원격 감지 분야에서 처음으로 few-shot 객체 검출 문제를 메타학습 문제로 제안하고 해결한다.

제안 방법

• 원격 감지 영상의 척도 변화를 다루기 위해 다중 척도 아키텍처를 갖춘 YOLOv3 기반의 few-shot 객체 검출 모델(FSODM)을 제안한다.
• 기존 클래스의 지원 이미지에서 분별성 있는 표현을 학습하기 위해 메타 특징 추출기를 활용한다.
• 질의 이미지에 대한 관련성에 따라 지원 이미지의 특징에 주의 가중치를 적응적으로 할당하는 재가중 모듈을 도입한다.
• 재가중된 특징 맵에서 바운딩 박스 예측 모듈을 사용하여 객체 검출을 수행함으로써 정확한 국소화 및 분류를 가능하게 한다.
• 기초 클래스에서 엔드 투 엔드로 모델을 훈련하여 메타 지식을 학습하고, 추론 시에 새로운 클래스로의 제로샷 일반화를 가능하게 한다.
• t-SNE 시각화를 통해 학습된 재가중 벡터가 클래스별로 군집되어 있음을 확인하여, 효과적인 클래스 인식 특징 표현이 이루어졌음을 검증한다.

실험 결과

연구 질문

• RQ1 몇 개의 레이블이 부여된 샘플만으로도 few-shot 학습 기반의 객체 검출 모델이 원격 감지 영상에서 새로운 객체 항목에 효과적으로 일반화될 수 있는가?
• RQ2 제안된 재가중 모듈이 원격 감지에서 few-shot 검출을 위한 특징 표현 학습에 어떻게 기여하는가?
• RQ3 기초 클래스에서 학습한 메타 지식이 최소한의 감독 하에 얼마나 효과적으로 새로운 클래스로 전이되는가?
• RQ4 다중 척도 설계가 원격 감지 영상에서 다양한 객체 크기에서 검출 성능을 어떻게 향상시키는가?
• RQ5 풀 데이터셋으로 훈련된 표준 YOLOv3와 비교해, few-shot 모델의 성능은 어떠한가?

주요 결과

• NWPU VHR-10 데이터셋에서 전체 훈련 세트의 8%에 해당하는 60장의 샘플만으로도, 제안된 FSODM 모델이 풀 데이터셋으로 훈련된 YOLOv3와 유사한 검출 성능을 달성한다.
• 야구 연고지 클래스의 경우, 단 20개의 레이블이 부여된 샘플로도 기준 성능에 근접한 성능을 기록하여, 저변동성 객체에 대해 강력한 일반화 능력을 입증한다.
• 크기 및 구조적 변동성이 높은 항공기 클래스의 경우, 60장의 샘플로도 여전히 뛰어난 성능을 기록하며, 풀 데이터셋 기준 성능에 가까워진다.
• t-SNE 시각화 결과, 동일한 객체 항목에서 유래한 재가중 벡터들이 서로 군집되어 있음을 확인하여, 효과적인 클래스 인식 특징 학습이 이루어졌음을 확인한다.
• DIOR 데이터셋에서 기초 클래스에 대해 높은 mAP(0.54)를 유지하며, few-shot 적응에도 불구하고 성능 저하 없이 안정적인 성능을 보였다.
• 특히 지원 샘플 수가 적을 경우 재가중 모듈이 검출 정확도를 크게 향상시키며, 가장 분별성이 높은 특징을 집중적으로 활용한다.