[논문 리뷰] EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification

Patrick Helber, Benjamin Bischke외 2명|arXiv (Cornell University)|2017. 08. 31.

Remote-Sensing Image Classification인용 수 62

한 줄 요약

유로SAT 데이터셋 소개: 27,000개의 지리좌표 참조 Sentinel-2 이미지 패치가 10개 클래스에 걸쳐 있으며 CNN이 RGB 데이터에서 최대 98.57% 정확도를 달성.

ABSTRACT

In this paper, we address the challenge of land use and land cover classification using Sentinel-2 satellite images. The Sentinel-2 satellite images are openly and freely accessible provided in the Earth observation program Copernicus. We present a novel dataset based on Sentinel-2 satellite images covering 13 spectral bands and consisting out of 10 classes with in total 27,000 labeled and geo-referenced images. We provide benchmarks for this novel dataset with its spectral bands using state-of-the-art deep Convolutional Neural Network (CNNs). With the proposed novel dataset, we achieved an overall classification accuracy of 98.57%. The resulting classification system opens a gate towards a number of Earth observation applications. We demonstrate how this classification system can be used for detecting land use and land cover changes and how it can assist in improving geographical maps. The geo-referenced dataset EuroSAT is made publicly available at https://github.com/phelber/eurosat.

연구 동기 및 목표

• Sentinel-2 이미지 기반으로 대규모의 자유롭게 이용 가능한 토지 이용/토지 피복 데이터셋을 소개한다.
• 딥 러닝 모델용 다중 스펙트럼 벤치마크(13 밴드) 제공.
• 가장 정보가 풍부한 스펙트럴 정보를 식별하기 위해 단일 밴드 및 밴드 결합 입력을 평가한다.
• 토지 변화 탐지 및 지도 업데이트를 위한 기본 적용 가능성 시연.
• 광범위한 EO 데이터 연구를 가능하게 하는 지리공간 참조 버전 공개.

제안 방법

• Sentinel-2A 데이터에서 34개 유럽 국가에 걸친 라벨링되고 지오참조된 64x64 패치 27,000개를 구성한다.
• RGB 및 다중 스펙트럼(13-band) 버전의 EuroSAT를 벤치마킹용으로 제공한다.
• land use/land cover 분류를 위해 ImageNet(ILSVRC-2012)에서 사전학습된 GoogLeNet 및 ResNet-50 아키텍처를 미세조정하고 비교한다.
• RGB, CI(색상적외선), 및 SWIR 구성을 포함하여 단일 밴드 입력과 밴드 결합 입력을 평가한다.
• 클래스별 혼동을 분석하고 가장 정보가 많은 스펙트럴 밴드를 결정하기 위한 밴드 중요도 평가를 제공한다.

실험 결과

연구 질문

• RQ1 RGB 대 다중 스펙트럼 입력으로 EuroSAT 데이터셋에서 최첨단 CNN이 어떤 분류 정확도를 달성할 수 있는가?
• RQ2 13개의 Sentinel-2 스펙트럴 밴드가 토지 이용/토지 피복 분류에서 개별적으로와 결합해 어떻게 성능을 발휘하는가?
• RQ3 EuroSAT 미세조정에 대해 ImageNet에서의 사전학습이 처음부터 학습하는 것보다 유익한가?
• RQ4 데이터셋이 토지 이용/토지 피복 변화 탐지 및 지도 업데이트에 활용될 수 있는가?

주요 결과

• CNN 벤치마크(ResNet-50 및 GoogLeNet)가 EuroSAT에서 최첨단 성능을 달성하며, ResNet-50은 RGB 입력에서 98.57% 정확도(80/20 분할)에 도달했다.
• RGB 밴드 조합은 단일 밴드 및 다른 밴드 조합보다 우수하며, ResNet-50을 사용할 때 98.57%(RGB) 대 98.30%(CI) 및 97.05%(SWIR)을 달성했다.
• 단일 밴드 실험에서 RGB가 일반적으로 우수한 것을 보이며, Red Edge 1 (B05) 및 SWIR 2 (B12)와 같은 일부 밴드는 10m로 업샘플링하면 강력한 결과를 낼 수 있다.
• CNN은 Bag-of-Visual-Words 베이스라인 및 얕은 네트워크보다 데이터셋 전반에 걸쳐 우수하며, 사전학습된 네트워크가 EuroSAT에서 약 2% 더 높은 정확도를 제공한다.
• 패치 수준 분류를 시계열 이미지의 슬라이딩 윈도우 분석에 적용하여 데이터셋이 변화 탐지 및 매핑 지원을 가능하게 한다.