[논문 리뷰] SeasoNet: A Seasonal Scene Classification, segmentation and Retrieval dataset for satellite Imagery over Germany

Dominik Koßmann, Viktor Brack외 1명|arXiv (Cornell University)|2022. 07. 19.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

SeasoNet은 독일의 LBM-DE2018 모델 기반으로 고해상도 픽셀 수준의 지형 분류 레이블(최소 지도 제작 단위 5ha)을 갖춘 대규모 다중 스펙트럼 위성 영상 데이터셋을 제공한다. 이 데이터셋은 네 계절과 눈 덮인 계절을 포함한 총 176만 개의 Sentinel-2 영상 패치를 포함하며, 고도로 정교한 시나리오 분류, 의미적 세그멘테이션, 계절 간 이미지 검색에 기여한다. 기준 성능 결과는 DenseNet121과 DeepLabV3를 사용해 우수한 성능를 보였지만, 소형 객체 탐지 문제는 여전히 도전 과제로 남아 있다.

ABSTRACT

This work presents SeasoNet, a new large-scale multi-label land cover and land use scene understanding dataset. It includes $1\,759\,830$ images from Sentinel-2 tiles, with 12 spectral bands and patch sizes of up to $ 120 \ \mathrm{px} imes 120 \ \mathrm{px}$. Each image is annotated with large scale pixel level labels from the German land cover model LBM-DE2018 with land cover classes based on the CORINE Land Cover database (CLC) 2018 and a five times smaller minimum mapping unit (MMU) than the original CLC maps. We provide pixel synchronous examples from all four seasons, plus an additional snowy set. These properties make SeasoNet the currently most versatile and biggest remote sensing scene understanding dataset with possible applications ranging from scene classification over land cover mapping to content-based cross season image retrieval and self-supervised feature learning. We provide baseline results by evaluating state-of-the-art deep networks on the new dataset in scene classification and semantic segmentation scenarios.

연구 동기 및 목표

• 지형 분석 및 이용 분석을 위한 고공간 해상도를 갖춘 대규모 다계절 픽셀 레이블이 부여된 원격 감지 데이터셋의 부족을 보완하기 위해.
• 계절 변화에 따른 도메인 이동 상황에서 시나리오 분류, 의미적 세그멘테이션 및 계절 간 이미지 검색에 대한 딥러닝 모델의 견고한 평가를 가능하게 하기 위해.
• 일致된 계절 및 스펙트럼 데이터를 갖춘 다양한 대규모 벤치마크를 제공함으로써 자기지도 학습 및 전이 학습을 지원하기 위해.
• 지역 크기 기준을 설정하여 소수 및 소규모 지형 분류 유형의 성능 향상을 도모하기 위해.
• 재현 가능성과 비교 가능성을 확보하기 위해 공식적인 훈련/검증/테스트 분할 및 평가 지표를 포함한 공개 벤치마크를 구축하기 위해.

제안 방법

• 데이터셋은 독일 전역의 1,759,830개의 Sentinel-2 영상 패치(120×120 픽셀)로 구성되며, 네 계절과 눈 덮인 계절을 포함하고, 지형 분류 모델인 LBM-DE2018 기반으로 픽셀 수준의 레이블이 부여되었다.
• 레이블은 CORINE Land Cover 2018 클래스를 기반으로 하지만 원래 CLC 데이터베이스보다 5배 높은 해상도(5ha 최소 지도 제작 단위)를 적용하여 소형 객체 누락을 줄였다.
• 데이터셋은 데이터 누출을 방지하고 평가 일관성을 확보하기 위해 두 개의 격자 기반 공식적인 훈련/검증/테스트 분할을 포함한다.
• 소형 및 잡음이 있을 수 있는 지역의 포함 여부를 제어하기 위해 하드(0px), 중간(100px), 쉬움(300px)의 세 가지 지역 크기 기준을 정의하였다.
• 기준 모델 평가에서는 다중 레이블 분류에 대해 DenseNet121, 의미적 세그멘테이션에 대해 DeepLabV3를 사용하였으며, 손실 함수로는 각각 이진 교차 엔트로피 및 교차 엔트로피를 적용하였다.
• 모든 스펙트럼 밴드는 훈련 중 다중 스펙트럼 정보를 유지하기 위해 최대 패치 해상도로 업샘플링되었다.

실험 결과

연구 질문

• RQ1 최신 딥러닝 모델들이 픽셀 수준의 레이블이 부여된 대규모 다계절 고해상도 원격 감지 데이터셋에서 얼마나 우수한 성능을 보이는가?
• RQ2 계절 및 눈 덮인 변동을 포함함으로써 원격 감지 모델의 도메인 이동에 대한 일반화 능력은 어느 정도 향상되는가?
• RQ3 다양한 지역 크기 기준(0, 100, 300px)이 소형 및 소수 지형 분류 유형의 의미적 세그멘테이션 및 분류 성능에 미치는 영향은 어떠한가?
• RQ4 SeasoNet은 원격 감지 응용 분야에서 실용적인 사전 훈련 또는 자기지도 학습 벤치마크로 활용될 수 있는가?
• RQ5 SeasoNet에서 미세조정된 모델의 성능은 ImageNet 사전 훈련 모델 대비 F1 점수 및 mIoU 측면에서 다양한 지형 분류 유형에서 어떻게 비교되는가?

주요 결과

• 하드 기준(모든 지역 포함)에서 DenseNet121의 F1-_macro 점수는 60.02로 다양한 지형 분류 유형에서 뛰어난 종합 분류 성능를 보였다.
• 하드 기준에서 DeepLabV3의 mIoU 점수는 47.53로 중간 수준의 세그멘테이션 성능를 보였으며, 300px 이하 지역에서는 15.98로 급격히 감소하여 소형 객체 탐지의 과제를 확인시켰다.
• ImageNet 사전 훈련 모델은 비사전 훈련 모델 대비 略적으로 높은 성능를 보였지만 격차는 제한적이었으며, 도메인 이동 문제의 여전한 과제를 시사했다.
• 중간 기준(100px)에서 F1-_macro 점수(61.48)와 mIoU(47.78)가 가장 높았으며, 소형 지역의 잡음과 의미 있는 세그멘테이션 간 최적의 균형을 이룬 것으로 나타났다.
• 100px 이하 지역의 성능은 급격히 떨어졌으며(mIoU 10.07), 소형 및 분할된 지형 분류 특징이 현재 모델에 여전히 주요 과제로 남아 있음을 확인했다.
• 표준화된 분할 및 기준을 갖춘 공식 평가 프로토콜 덕분에 향후 원격 감지 연구에서 신뢰성 있고 재현 가능한 벤치마킹이 가능하다.