[논문 리뷰] BigEarthNet v2

Kai Norman Clasen, Leonard Hackel외 4명|arXiv (Cornell University)|2024. 07. 04.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

reBEN은 Sentinel-1/2를 기반으로 한 정제된 다중 모달 원격 탐지 데이터셋으로, 픽셀- 및 장면-단위 라벨, 보정된 대기처리 및 공간 누수를 줄이기 위한 지리적 기반 데이터 분할을 갖춘 데이터셋입니다.

ABSTRACT

BigEarthNet v2.0 The BigEarthNet v2.0 dataset was constructed by the Remote Sensing Image Analysis (RSiM) Group and the Database Systems and Information Management (DIMA) Group at the Technische Universität Berlin (TU Berlin). This work is supported by the European Research Council under the ERC Starting Grant BigEarth and by the Berlin Institute for the Foundations of Learning and Data (BIFOLD). BigEarthNet v2.0 is a benchmark dataset consisting of 549,488 pairs of Sentinel-1 and Sentinel-2 image patches. To construct BigEarthNet v2.0 with Sentinel-2 image patches (called as BigEarthNet-S2), 115 Sentinel-2 tiles acquired between June 2017 and May 2018 over 10 countries (Austria, Belgium, Finland, Ireland, Kosovo, Lithuania, Luxembourg, Portugal, Serbia, and Switzerland) of Europe were initially selected. All the tiles were atmospherically corrected by the Sentinel-2 Level 2A product generation and formatting tool (sen2cor v2.11). Then, they were divided into 549,488 image patches. Each image patch was associated with a pixel-level reference map and multiple land-cover class labels (i.e., multi-labels) that were derived from the most recent CORINE Land Cover database of the year 2018 (CLC2018 v2020_u1). To construct BigEarthNet v2.0 with Sentinel-1 image patches (called as BigEarthNet-S1), 312 Sentinel-1 scenes acquired between June 2017 and May 2018 that jointly cover the area of all original 115 Sentinel-2 tiles with close temporal proximity were selected and processed. BigEarthNet-S1 consists of 549,488 preprocessed Sentinel-1 image patches – one for each Sentinel-2 patch. The BigEarthNet v2.0 dataset includes several significant improvements compared to the previous 1.0 version. These changes include the application of the latest atmospheric correction tool (sen2cor), which results in higher-quality patches. Additionally, the most recent version of the CLC2018 database was utilized to extract label information, overcoming label noise present in BigEarthNet v1.0. Apart from providing patch-level labels, v2.0 additionally includes pixel-level reference maps, making the dataset suitable for pixel- and scene-based learning tasks. Furthermore, BigEarthNet v2.0 introduces a new geographical-based split assignment algorithm, which significantly reduces spatial correlation among the train, validation, and test sets compared to v1.0. If you use this work, please cite: K. Clasen, L. Hackel, T. Burgert, G. Sumbul, B. Demir, V. Markl, “reBEN: Refined BigEarthNet Dataset for Remote Sensing Image Analysis”, IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2025.

연구 동기 및 목표

• BigEarthNet의 레이블 노이즈와 대기 보정 업데이트를 다루기 위해 최신 CORINE Land Cover map (CLC2018)에서 파생된 정교화된 라벨을 도입한다.
• 픽셀 수준의 참조 맵을 제공하여 픽셀- 및 장면 기반 학습 작업을 가능하게 한다.
• 지리적 기반 분할 할당 알고리즘으로 학습/검증/테스트 분할 간의 공간 상관관계를 완화한다.
• 효율적인 DL 학습(rico-hdl) 도구모음을 제공하고 최첨단 아키텍처를 위한 사전 학습된 모델을 제공한다.

제안 방법

• 1200m x 1200m 패치를 125개의 Sentinel-2 L1C 타일에서 최신 sen2cor(v2.11)을 사용하여 Sentinel-2 level-2A 데이터로 얻는다.
• 패치를 최신 CLC2018 맵과 중첩시켜 픽셀 수준 참조 맵과 19-클래스 LULC 라벨을 도출한다.
• 지리적 기반 분할 할당 알고리즘을 도입하여 학습/검증/테스트를 공간적 상관관계가 감소된 상태로 분리한다.
• 빠른 로딩을 위해 LMDB에 safetensors로 데이터를 저장하는 DL 최적화 데이터 포맷 컨버터(rico-hdl)를 제공한다.
• S1 및 S2 데이터를 활용한 다중 모달 RS 학습을 가능하게 하는 사전 학습 가중치와 학습 스크립트를 공개한다.

(a) BigEarthNet: Marine waters (M), Urban fabric (W) reBEN: Marine waters (C)

실험 결과

연구 질문

• RQ1 최신 대기 보정(sen2cor 2.11)을 사용하는 것이 BigEarthNet 기준선에 비해 라벨 품질과 DL 성능을 얼마나 향상시키는가?
• RQ2 픽셀 수준 CORINE 기반 라벨링이 라벨 노이즈를 줄이고 픽셀- 및 장면 수준 학습 작업을 향상시킬 수 있는가?
• RQ3 지리적 기반 분할이 학습/검증/테스트 간의 공간 누수를 줄여 DL 모델 평가의 신뢰성을 향상시키는가?
• RQ4 다중 모달(S1 및 S2) 데이터 융합이 다중 라벨 RS 이미지 분류 성능에 미치는 영향은 무엇인가?
• RQ5 reBEN에서 DL 실험을 가속화하는 효율적인 도구와 사전 학습된 모델이 있는가?

주요 결과

• sen2cor 2.11 대기 보정 및 품질 검사를 통과하지 못한 타일의 제외로 reBEN은 더 높은 품질의 패치를 달성한다.
• 최신 CLC2018 맵에서 파생된 픽셀 수준 참조 맵이 BigEarthNet에 존재하는 라벨 노이즈를 해결한다.
• 지리적 기반 분할은 BigEarthNet의 그리드 기반 분할에 비해 분할 간 공간 상관관계를 감소시켜 평가 신뢰성을 향상시킨다.
• Sentinel-1과 Sentinel-2의 공동 사용은 일반적으로 단일 모달보다 모델 간 성능을 더 높게 나타낸다.
• 평가된 모델 중에서 ResNet 변형 및 다중 모달(S1+S2) 구성은 종종 reBEN에서 최고 AP와 F1 점수를 달성한다.

(b) BigEarthNet: Pastures (C), Urban fabric (M) reBEN: Pastures (C), Urban fabric (C)