[논문 리뷰] SatlasPretrain: A Large-Scale Dataset for Remote Sensing Image Understanding

Favyen Bastani, Piper Wolters외 3명|arXiv (Cornell University)|2022. 11. 28.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

SatlasPretrain는 137개의 카테고리와 7종류의 레이블을 포함하여 총 302만 개의 레이블을 가진 대규모 다중 카테고리 고해상도 위성 영상 데이터셋을 소개한다. 이 데이터셋은 Sentinel-2와 NAIP 영상을 조합하여 구성되었으며, 이 데이터셋에서의 사전 훈련은 ImageNet 기반 사전 훈련 대비 평균 후행 작업 정확도를 18% 향상시키고, 다음으로 우수한 베이스라인 대비 6% 향상시켜 다양한 저자원 원격 감시 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Remote sensing images are useful for a wide variety of planet monitoring applications, from tracking deforestation to tackling illegal fishing. The Earth is extremely diverse -- the amount of potential tasks in remote sensing images is massive, and the sizes of features range from several kilometers to just tens of centimeters. However, creating generalizable computer vision methods is a challenge in part due to the lack of a large-scale dataset that captures these diverse features for many tasks. In this paper, we present SatlasPretrain, a remote sensing dataset that is large in both breadth and scale, combining Sentinel-2 and NAIP images with 302M labels under 137 categories and seven label types. We evaluate eight baselines and a proposed method on SatlasPretrain, and find that there is substantial room for improvement in addressing research challenges specific to remote sensing, including processing image time series that consist of images from very different types of sensors, and taking advantage of long-range spatial context. Moreover, we find that pre-training on SatlasPretrain substantially improves performance on downstream tasks, increasing average accuracy by 18% over ImageNet and 6% over the next best baseline. The dataset, pre-trained model weights, and code are available at https://satlas-pretrain.allen.ai/.

연구 동기 및 목표

• 다양하고 중심화된 다중 작업 학습 및 전이 학습을 지원하는 대규모, 다각도의 원격 감시 데이터셋이 부족한 문제를 해결한다.
• 킬로미터에서 센티미터 수준까지의 다양한 척도의 특징을 포함하여 전 세계적 다양성을 반영함으로써 일반화 가능한 원격 감시용 컴퓨터 비전 모델을 가능하게 한다.
• 기존 벤치마크가 분산되어 있고 소규모(1만 장 이하), 단일 작업 또는 카테고리에 국한되어 있는 한계를 극복한다.
• 불법 어업 감지나 빙하 모니터링과 같이 레이블이 적은 예시를 가진 고유한 원격 감시 응용 분야의 전이 학습을 촉진한다.
• 다양한 센서 유형, 장거리 공간적 맥락, 변동하는 객체 크기를 처리할 수 있는 통합된 기초를 제공한다.

제안 방법

• 고해상도 Sentinel-2와 NAIP 위성 영상을 융합하여 다각도적이고 세계적으로 대표적인 데이터셋을 구축한다.
• 점, 다각형, 다각선, 세그먼테이션, 회귀, 속성, 패치 분류 등 7종류의 레이블 유형을 사용하여 총 302만 개의 고유한 인스턴스를 137개 카테고리에 레이블링한다.
• 특징 추출을 위해 스위니 트랜스포머 기반 백본(SatlasNet)을 사용하고, SatlasPretrain에서 사전 훈련한 후 후행 작업에 맞게 미세조정한다.
• ImageNet, 네 가지 기존 원격 감시 데이터셋(BigEarthNet, Million-AID, DOTA, iSAID), 그리고 두 가지 자기지도 학습 방법(MoCo v2, SeCo)과의 성능 비교를 통해 사전 훈련 성능을 평가한다.
• 두 단계로 이루어진 미세조정 프로토콜을 구현: 첫 번째로 백본을 고정하고 헤드만 훈련하고, 두 번째로 전체 모델을 미세조정한다.
• SatlasPretrain의 규모와 다양성을 활용하여 시간 시리즈 및 다중 스펙트럼 데이터를 포함한 다양한 센서 유형과 작업에 일반화 가능한 모델을 훈련한다.

Figure 2 : Overview of the SatlasPretrain dataset. SatlasPretrain consists of image time series and labels for 856K Web-Mercator tiles at zoom 13 (left). There are two image modes on which methods are trained and evaluated independently: high-resolution NAIP images (top) and low-resolution Sentinel-

실험 결과

연구 질문

• RQ1 대규모 다중 카테고리 원격 감시 데이터셋이 다양한 후행 작업에서 전이 학습 성능을 향상시킬 수 있는가?
• RQ2 SatlasPretrain에서의 사전 훈련은 ImageNet 및 기타 원격 감시 벤치마크에서의 사전 훈련 대비 후행 작업 정확도에서 어떻게 비교되는가?
• RQ3 SatlasPretrain가 레이블 예시가 50개뿐인 저자원 원격 감시 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 기존 컴퓨터 비전 모델은 SatlasPretrain의 전체 레이블 유형 범위를 다룰 때 어떤 한계를 지닌다?
• RQ5 다양하고 다중 센서 기반 데이터셋에서의 사전 훈련이 장거리 공간적 맥락과 변동하는 크기의 특징에 대한 일반화 능력을 향상시키는가?

주요 결과

• SatlasPretrain에서의 사전 훈련은 7개의 다양한 원격 감시 작업에서 ImageNet 사전 훈련 대비 평균 후행 작업 정확도를 18% 향상시키고, 다음으로 우수한 베이스라인 대비 6% 향상시킨다.
• 모델은 각 작업당 레이블 예시가 50개뿐인 경우에도 사전 훈련된 모델을 통해 높은 성능 향상을 기록하여, 제로샷 및 소수의 예시 전이 가능성의 강점을 입증한다.
• 기존 컴퓨터 비전 베이스라인 중 어느 것도 SatlasPretrain의 7종류의 레이블 유형을 모두 지원하지 않으며, 이는 원격 감시 작업을 위한 특화된 아키텍처의 필요성을 시사한다.
• SatlasPretrain에서 사전 훈련된 모델은 풍력 터빈과 물 타워와 같은 도전적인 카테고리에서 뛰어난 성능을 보였지만, 도로 및 철도와 같은 고밀도 다각선 감지에서는 여전히 문제를 겪고 있다.
• Satlas 플랫폼가 SatlasPretrain로 미세조정된 모델을 사용하여 매달 전 세계의 풍력 터빈, 태양광 발전소, 수목 커버에 대한 고정밀 지리공간 데이터를 생성함으로써, 데이터셋이 고정밀 지리공간 데이터 추출을 가능하게 한다.
• SeCo와 같은 자기지도 학습 방법은 전망이 있긴 하지만, SatlasPretrain에서의 감독 학습 사전 훈련에 비해 성능이 열등하여, 체계적이고 대규모의 감독 학습의 가치를 입증한다.

Figure 3 : Geographic coverage of SatlasPretrain , with bright pixels indicating locations covered by images and labels in the dataset. SatlasPretrain spans all continents except Antarctica.