[논문 리뷰] Open High-Resolution Satellite Imagery: The WorldStrat Dataset -- With Application to Super-Resolution

Julien Cornebise, Ivan Oršolić외 1명|arXiv (Cornell University)|2022. 07. 13.

Advanced Image Fusion TechniquesEngineering인용 수 17

한 줄 요약

이 논문은 다양한 글로벌 지형 사용(특히 인도적 지원이 부족한 지역 포함)을 기반으로 계층화된, 고해상도(1.5 m/픽셀) 에어버스 SPOT 6/7 위성 영상과 다중 시기적 저해상도(10 m/픽셀) 센티넬-2 영상이 짝지어진 대규모 공개 데이터셋인 WorldStrat을 소개한다. 이 데이터셋을 통해 무료 저해상도 데이터에서 고정밀 영상을 유도하는 초해상도 모델을 훈련시킬 수 있으며, 재현 가능성과 커뮤니티 확장성을 보장하기 위해 오픈소스 도구와 코드를 함께 제공한다.

ABSTRACT

Analyzing the planet at scale with satellite imagery and machine learning is a dream that has been constantly hindered by the cost of difficult-to-access highly-representative high-resolution imagery. To remediate this, we introduce here the WorldStrat dataset. The largest and most varied such publicly available dataset, at Airbus SPOT 6/7 satellites' high resolution of up to 1.5 m/pixel, empowered by European Space Agency's Phi-Lab as part of the ESA-funded QueryPlanet project, we curate nearly 10,000 sqkm of unique locations to ensure stratified representation of all types of land-use across the world: from agriculture to ice caps, from forests to multiple urbanization densities. We also enrich those with locations typically under-represented in ML datasets: sites of humanitarian interest, illegal mining sites, and settlements of persons at risk. We temporally-match each high-resolution image with multiple low-resolution images from the freely accessible lower-resolution Sentinel-2 satellites at 10 m/pixel. We accompany this dataset with an open-source Python package to: rebuild or extend the WorldStrat dataset, train and infer baseline algorithms, and learn with abundant tutorials, all compatible with the popular EO-learn toolbox. We hereby hope to foster broad-spectrum applications of ML to satellite imagery, and possibly develop from free public low-resolution Sentinel2 imagery the same power of analysis allowed by costly private high-resolution imagery. We illustrate this specific point by training and releasing several highly compute-efficient baselines on the task of Multi-Frame Super-Resolution. High-resolution Airbus imagery is CC BY-NC, while the labels and Sentinel2 imagery are CC BY, and the source code and pre-trained models under BSD. The dataset is available at https://zenodo.org/record/6810791 and the software package at https://github.com/worldstrat/worldstrat .

연구 동기 및 목표

• 기계학습 연구를 위한 공개적이고 고해상도이며 지리적으로 계층화된 위성 영상의 부족 문제를 해결하기 위해.
• 고해상도 SPOT 6/7 영상과 다중 저해상도 센티넬-2 재방문 영상 간의 짝짓기로 초해상도 작업을 가능하게 하기 위해.
• 공개 접근이 가능하고 다양한 지형 사용이 포함된 잘 정리된 데이터셋을 제공함으로써 원격 감지 분야의 광범위한 응용을 지원하기 위해.
• EO-learn와 호환되는 오픈소스 도구와 사전 훈련된 모델을 제공함으로써 위성 영상 분석의 진입 장벽을 낮추기 위해.
• 버전 관리된 오픈 라이선스와 투명한 데이터 정제 과정을 통해 커뮤니티 기반의 데이터 확장과 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 23개의 LCCS 지형 사용 유형과 6개의 IPCC 카테고리에 걸쳐 전 세계적 지리적 및 지형 다양성을 확보하기 위해 약 10,000 km²의 고유한 고해상도 SPOT 6/7 영상 자료를 정제하였다.
• GHSL-SMOD를 활용한 지형 사용 및 도시 밀도 기반의 계층적 표본 추출을 수행하였으며, 갈등 지역 및 비공식 주거지와 같은 부족한 대표성을 보이는 지역도 포함하였다.
• 동일한 시간 창 내에서 시간적으로 정렬된 다수의 센티넬-2 영상(10 m/픽셀)을 고해상도 SPOT 영상에 짝지어, 다중 프레임 초해상도 훈련을 가능하게 하였다.
• EO-learn 통합을 지원하는 오픈소스 파이썬 패키지를 개발하여 데이터셋을 재구성, 확장 및 훈련할 수 있도록 하였으며, 튜토리얼과 기준 모델도 포함하였다.
• 데이터셋 기반으로 계산 효율성이 높은 다수의 초해상도 기반 모델(예: Multi-Frame SRCNN, HighResNet)을 개발하고 배포하였다.
• 지속적이고 추적 가능하며 업데이트 가능한 데이터셋 배포를 위해 Zenodo에 버전 관리된 DOI 호스팅을 적용하였다. 커뮤니티 기여 경로도 함께 제공하였다.

실험 결과

연구 질문

• RQ1 다양한 기계학습 응용을 지원할 수 있도록 대규모이자 공개적이며 지리적으로 계층화된 고해상도 위성 영상 데이터셋을 구축할 수 있는가?
• RQ2 고해상도 SPOT 6/7 영상과 짝지어진 다중 시기적 저해상도 센티넬-2 영상이 초해상도 작업에 얼마나 효과적인가?
• RQ3 오픈소스 도구와 커뮤니티 기여가 위성 영상 데이터셋의 확장성과 유용성을 얼마나 향상시킬 수 있는가?
• RQ4 기본 기준과 비교했을 때, 이 짝지어진 계층화된 데이터셋으로 훈련된 초해상도 모델의 성능 특성은 어떠한가?
• RQ5 오픈 라이선스와 버전 관리된 데이터 배포 방식이 지구관측 연구의 재현 가능성과 장기적 지속 가능성에 어떻게 기여하는가?

주요 결과

• WorldStrat 데이터셋은 약 10,000 km²의 고해상도 위성 영상으로 구성되어 있으며, 23개의 LCCS 지형 사용 유형과 6개의 IPCC 카테고리를 포함하고 있으며, 지리적으로 계층화된 전 세계적 대표성을 확보하고 있다.
• 1,150개의 고유한 고해상도 SPOT 6/7 영상과 다수의 센티넬-2 재방문 영상이 짝지어져 다중 프레임 초해상도 훈련을 가능하게 하였다.
• 저자들은 여러 초해상도 기반 모델(예: Multi-Frame SRCNN, HighResNet)을 훈련 및 배포하였으며, 검증 세트에서 경쟁적인 PSNR 및 SSIM 점수를 기록하였다.
• 통계 분석 결과, 검증 세트 전반에 걸쳐 모델 성능의 높은 변동성이 확인되어 평균 기반 지표만으로는 벤치마크 평가가 부족함을 시사하였다.
• 데이터셋은 Zenodo에 버전 관리된 DOI로 호스팅되어 있어 장기적 지속성과 추적 가능성을 확보하였으며, 향후 커뮤니티 기여 및 수정을 위한 계획이 수립되어 있다.
• 라이선스 모델은 광범위한 재사용을 가능하게 하였다: 고해상도 영상은 CC-BY-NC, 센티넬-2 및 레이블은 CC-BY, 코드 및 모델은 BSD 라이선스를 적용하여 접근성과 통합 가능성을 극대화하였다.