[논문 리뷰] BigEarthNet Dataset with A New Class-Nomenclature for Remote Sensing Image Understanding

Gencer Sumbül, Jian Kang외 6명|arXiv (Cornell University)|2020. 01. 17.

Remote-Sensing Image Classification참고 문헌 23인용 수 16

한 줄 요약

이 논문은 원격 감지에서 딥 러닝(DL) 성능을 향상시키기 위해 CORINE Land Cover Level-3 클래스에서 유래한 새로운 19개 클래스 체계를 적용한 대규모 센티넬-2 다중스펙트럼 이미지 데이터셋인 BigEarthNet을 소개한다. 센티넬-2의 스펙트럼 및 공간 특성에 기반해 의미적 레이블을 재구성함으로써, BigEarthNet에서 새로 학습한 모델은 이미지넷 미사전학습 모델보다 성능이 뛰어나며, 특히 농업 및 천연 식생과 같은 복잡한 클래스에서 두드러진 성능 향상을 보였다.

ABSTRACT

This paper presents BigEarthNet that is a large-scale Sentinel-2 multispectral image dataset with a new class nomenclature to advance deep learning (DL) studies in remote sensing (RS). BigEarthNet is made up of 590,326 image patches annotated with multi-labels provided by the CORINE Land Cover (CLC) map of 2018 based on its most thematic detailed Level-3 class nomenclature. Initial research demonstrates that some CLC classes are challenging to be accurately described by considering only Sentinel-2 images. To increase the effectiveness of BigEarthNet, in this paper we introduce an alternative class-nomenclature to allow DL models for better learning and describing the complex spatial and spectral information content of the Sentinel-2 images. This is achieved by interpreting and arranging the CLC Level-3 nomenclature based on the properties of Sentinel-2 images in a new nomenclature of 19 classes. Then, the new class-nomenclature of BigEarthNet is used within state-of-the-art DL models in the context of multi-label classification. Results show that the models trained from scratch on BigEarthNet outperform those pre-trained on ImageNet, especially in relation to some complex classes including agriculture, other vegetated and natural environments. All DL models are made publicly available at http://bigearth.net/#downloads, offering an important resource to guide future progress on RS image analysis.

연구 동기 및 목표

• 기존 원격 감지 데이터셋에서 CORINE Land Cover의 주제적 클래스와 센티넬-2 영상의 스펙트럼-공간 콘텐츠 간의 불일치 문제를 해결한다.
• 센티넬-2 다중스펙트럼 영상의 특성에 맞게 조정된 새로운 클래스 체계를 개발하여 의미 일관성과 모델 학습을 향상시킨다.
• 새로운 데이터셋에서 새로 학습한 최첨단 딥 러닝 모델이 다중 레이블 원격 감지 영상 분류 작업에서 더 뛰어난 성능을 내도록 한다.
• 연구의 가속화를 위해 표준화되고 해석 가능한 레이블을 갖춘 공개 가능한 대규모 벤치마크 데이터셋을 제공한다.

제안 방법

• 유럽 전역에서 센티넬-2 다중스펙트럼 영상에서 590,326개의 영상 패치를 추출하였다.
• 센티넬-2의 스펙트럼 및 공간 해석 가능성에 기반해 CORINE Land Cover Level-3 클래스를 새로운 단순화된 19개 클래스 체계로 매핑하였다.
• 2018년 CORINE Land Cover 지ap을 기반으로 다중 레이블 레이블링을 수행하여 각 영상 패치에 의미적 레이블을 할당하였다.
• 의미적으로 유사하고 스펙트럼적으로 일관된 클래스를 그룹화하여 모델의 일반화 능력을 향상시키기 위해 클래스 체계를 설계하였다.
• 새로운 19개 클래스 레이블 체계를 사용해 BigEarthNet에서 최첨단 딥 러닝 모델을 새로 학습시켰다.
• 다중 레이블 분류 성능을 평가하고, 결과를 이미지넷 미사전학습 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 센티넬-2 영상 특성에 기반한 재구성된 클래스 체계가 원격 감지 영상 분류에서 딥 러닝 성능을 향상시킬 수 있는가?
• RQ2 BigEarthNet에서 새로 학습한 딥 러닝 모델은 복잡한 지형 클래스에서 이미지넷 미사전학습 모델을 미세조정한 것보다 성능이 뛰어나게 되는가?
• RQ3 새로운 19개 클래스 체계는 농업 및 천연 식생과 같은 어려운 클래스를 구분하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 제안된 데이터셋과 레이블링 체계는 센티넬-2 영상의 복잡한 공간 및 스펙트럼 패턴을 더 정확하고 해석 가능한 방식으로 표현하는 데 기여하는가?

주요 결과

• 새로운 19개 클래스 체계를 사용해 BigEarthNet에서 새로 학습한 모델은 다중 레이블 원격 감지 분류 작업에서 이미지넷 미사전학습 모델을 능가한다.
• 성능 향상은 특히 농업, 기타 식생 지역, 자연 환경과 같이 복잡하고 시각적으로 유사한 클래스에서 가장 두드러진다.
• 새로운 클래스 체계는 CORINE Level-3 클래스를 센티넬-2 영상의 스펙트럼 및 공간 특성과 일치시킴으로써 의미 일관성과 해석 가능성을 향상시켰다.
• 데이터셋의 설계 덕분에, 기존 체계로는 어려운 지형 유형 간의 미세한 차이를 구분하는 데 더 나은 일반화 능력을 확보할 수 있었다.
• BigEarthNet에서 학습된 모든 딥 러닝 모델은 공개되어 있어 재현성과 원격 감지 분석 분야의 추가 연구를 촉진한다.