[논문 리뷰] xView: Objects in Context in Overhead Imagery

Darius Lam, Richard S. Kuzma외 6명|arXiv (Cornell University)|2018. 02. 22.

Advanced Neural Network Applications참고 문헌 17인용 수 86

한 줄 요약

xView는 60개의 클래스와 약 1백만 개의 라벨링된 객체를 포함하는 대규모 오버헤드 영상 객체 탐지 데이터셋과 1,400+ km2에 걸친 다중 단계 주석 및 품질 관리 파이프라인, 그리고 기본 SSD 실험을 도입합니다.

ABSTRACT

We introduce a new large-scale dataset for the advancement of object detection techniques and overhead object detection research. This satellite imagery dataset enables research progress pertaining to four key computer vision frontiers. We utilize a novel process for geospatial category detection and bounding box annotation with three stages of quality control. Our data is collected from WorldView-3 satellites at 0.3m ground sample distance, providing higher resolution imagery than most public satellite imagery datasets. We compare xView to other object detection datasets in both natural and overhead imagery domains and then provide a baseline analysis using the Single Shot MultiBox Detector. xView is one of the largest and most diverse publicly available object-detection datasets to date, with over 1 million objects across 60 classes in over 1,400 km^2 of imagery.

연구 동기 및 목표

• 다양하고 대규모의 공개적으로 이용 가능한 오버헤드 영상 객체 탐지 데이터셋을 개발하여 여러 CV 분야 전반의 연구를 발전시킨다.
• 높은 품질의 바운딩 박스 및 레이블을 보장하기 위한 엄격한 주석 및 품질 관리 워크플로우를 제공한다.
• 실세계의 오버헤드 영상의 다중 스케일 탐지와 미세한 분류를 반영하도록 허용한다.
• 자연 이미지 데이터셋 및 기존의 오버헤드 데이터셋과의 비교를 촉진하고 원격 감지 응용 분야의 downstream를 장려한다.

제안 방법

• 해상도와 다양성을 극대화하기 위해 0.3m GSD의 WorldView-3 영상을 수집하여 60개 객체 클래스 전반에 걸친 다양성을 달성한다.
• 맥락과 변이성을 포착하기 위해 클래스를 7개 상위 범주로 계층적으로 구성하고 다수의 세부 하위 클래스를 포함한다.
• 작업자/감독/전문가의 3단계 품질 관리 주석 파이프라인을 적용하고 축 정렬 바운딩 박스에 대해 내부 QGIS 기반 도구를 사용한다.
• 다양한 AOI에 걸친 UTM 격자를 통해 1 km2 칩을 생성하고 균일한 씬 유형 분포와 지리적 다양성을 보장한다.
• 전문가 라벨에 대한 골드-스탠다드 벤치마킹(정밀도 0.75, 재현율 0.95, IoU 0.5) 등을 포함한 엄격한 데이터-그라운드 트루스 프로세스를 수행한다.
• 다단계 특성을 갖춘 Single Shot Multibox Detector (SSD)를 이용한 기본 탐지 벤치마크를 수행하고 vanilla, 다해상도 및 보강된 데이터셋을 평가한다.

실험 결과

연구 질문

• RQ1 강건한 오버헤드 영상 객체 탐지 데이터셋에 필요한 규모, 다양성 및 품질은 무엇인가?
• RQ2 다중 스케일 표현과 데이터 증강이 크고 다양한 오버헤드 데이터세트에서 탐지 성능에 어떤 영향을 미치는가?
• RQ3 미세한 세부 클래스를 가진 오버헤드 탐지 데이터셋은 학습 난이도와 평가 측면에서 자연 이미지 벤치마크와 어떻게 비교되는가?
• RQ4 지리공간 맥락에서 few-shot 학습 및 도메인 적응과 같은 향후 연구 방향을 데이터셋이 지원할 수 있는가?

주요 결과

• xView는 1백만 개가 넘는 라벨링된 객체, 60개 클래스, 그리고 1,400 km2 이상의 영상 영역으로 구성된다.
• 3단계 품질 관리(작업자, 감독, 전문가)와 골드 스탠다드 평가를 통해 IoU 0.5에서 라벨링 정밀도 0.75와 재현율 0.95를 보장한다.
• SSD 벤치마크는 다중 해상도 학습이 vanilla 및 보강된 데이터셋보다 평균 AP(mAP)를 향상시키며 다중 해상도가 전체 최상의 성능을 달성함을 보여준다.
• 탐지 성능은 더 크고 맥락적으로 쉬운 클래스에서 더 높고, 작거나 변동이 큰 클래스에서 저하되며, 규모 및 배경 맥락 문제를 강조한다.
• 데이터셋의 지리적 및 맥락적 다양성은 오버헤드 영상에서 도메인 적응 및 few-shot 학습 접근법의 필요성을 자극한다.