[논문 리뷰] RSI-CB: A Large Scale Remote Sensing Image Classification Benchmark via Crowdsource Data

Haifeng Li, Dou, Xin외 6명|arXiv (Cornell University)|2017. 05. 30.

Remote-Sensing Image Classification참고 문헌 50인용 수 80

한 줄 요약

RSI-CB는 군중 소싱 주석(OSM)을 이용하여 전 세계적이고 대규모 원격 탐지 이미지 분류 벤치마크를 구축하여 DCNN 평가를 위한 다중 크기 데이터셋을 가능하게 한다. 계층적 지상 객체 카테고리를 가진 두 개의 레이블이 달린 서브 데이터셋을 제공한다.

ABSTRACT

In recent years, deep convolutional neural network (DCNN) has seen a breakthrough progress in natural image recognition because of three points: universal approximation ability via DCNN, large-scale database (such as ImageNet), and supercomputing ability powered by GPU. The remote sensing field is still lacking a large-scale benchmark compared to ImageNet and Place2. In this paper, we propose a remote sensing image classification benchmark (RSI-CB) based on massive, scalable, and diverse crowdsource data. Using crowdsource data, such as Open Street Map (OSM) data, ground objects in remote sensing images can be annotated effectively by points of interest, vector data from OSM, or other crowdsource data. The annotated images can be used in remote sensing image classification tasks. Based on this method, we construct a worldwide large-scale benchmark for remote sensing image classification. This benchmark has two sub-datasets with 256 by 256 and 128 by 128 sizes because different DCNNs require different image sizes. The former contains 6 categories with 35 subclasses of more than 24,000 images. The latter contains 6 categories with 45 subclasses of more than 36,000 images. This classification system of ground objects is defined according to the national standard of land-use classification in China and is inspired by the hierarchy mechanism of ImageNet. Finally, we conduct many experiments to compare RSI-CB with the SAT-4, SAT-6, and UC-Merced datasets on handcrafted features, such as scale-invariant feature transform, color histogram, local binary patterns, and GIST, and classical DCNN models, such as AlexNet, VGGNet, GoogLeNet, and ResNet.

연구 동기 및 목표

• ImageNet/Place2와 맞먹는 대규모의 다양하고 포괄적인 원격 탐지 벤치마크의 필요성을 촉진한다.
• 군중 소싱 데이터(예: Open Street Map)를 활용하여 RS 이미지의 지상 물체를 주석화한다.
• DCNN 벤치마킹을 위한 계층적 카테고리 구조를 가진 두 개의 확장 가능한 이미지 크기 데이터세트를 구성한다.
• 전통적인 수작업 특징(hard-crafted) 및 표준 DCNN 모델과의 베이스라인 비교를 제공한다.
• 다양한 네트워크 아키텍처 및 입력 해상도에 걸친 평가를 가능하게 한다.

제안 방법

• 관심 지점을 통해 원격 탐지 이미지를 주석하기 위해 군중 소싱 데이터(OSM 및 벡터 데이터)를 사용한다.
• 다른 DCNN 입력 요건에 맞추기 위해 256x256 및 128x128 이미지 크기의 두 서브 데이터세트를 생성한다.
• 국가 토지 이용 표준(중국)을 모티프로 한 지상 물체 카테고리 체계와 ImageNet에 영감을 받은 계층적 체계를 정의한다.
• 수작업 특징과 고전 DCNN(AlexNet, VGGNet, GoogLeNet, ResNet)을 사용하여 RSI-CB를 기존 RS 데이터셋(SAT-4, SAT-6, UC-Merced)과 비교하는 실험을 수행한다.
• 벤치마크의 타당성을 확립하기 위한 기본 분류 성능 관찰치를 제공한다.

실험 결과

연구 질문

• RQ1 대규모 원격 탐지 이미지를 분류하기 위해 군중 소싱 데이터를 어떻게 효과적으로 주석화할 수 있는가?
• RQ2 RS를 위한 계층적이며 국가 표준의 지상 객체 분류 체계를 만들 때의 특성 및 도전 과제는 무엇인가?
• RQ3 수작업 특징과 표준 DCNN을 모두 사용하여 기존 RS 데이터셋과 비교했을 때 RSI-CB 벤치마크의 성능은 어떠한가?
• RQ4 이미지 크기(256x256 대 128x128)가 RS 분류에서 DCNN 성능에 미치는 영향은 무엇인가?
• RQ5 AlexNet, VGGNet, GoogLeNet, ResNet와 같은 아키텍처 간의 공정한 교차 모델 벤치마킹을 군중 주석 RS 데이터세트가 지원할 수 있는가?

주요 결과

• RSI-CB는 서로 다른 이미지 크기와 계층적 클래스 구조를 갖춘 두 개의 대규모 RS 데이터셋을 제공한다.
• 256x256 데이터셋은 6개 카테고리와 35개 하위 분류, 24,000장을 넘는 이미지를 포함하고; 128x128 데이터셋은 6개 카테고리와 45개 하위 분류, 36,000장을 넘는 이미지를 포함한다.
• 기준선 실험은 수작업 특징과 고전 DCNN(AlexNet, VGGNet, GoogLeNet, ResNet)을 사용하여 RSI-CB를 SAT-4, SAT-6, UC-Merced와 비교한다.
• 본 연구는 규모 확장을 위한 RS 벤치마크 구성에 군중 소싱 기반 주석의 가능성을 보여준다.
• 데이터셋 구성은 국가 토지 이용 분류 표준과 ImageNet에서 영감을 받은 계층 구조를 채택하여 광범위한 적용성을 확보한다.