[논문 리뷰] SpectralGPT: Spectral Remote Sensing Foundation Model

Danfeng Hong, Bing Zhang외 12명|arXiv (Cornell University)|2023. 11. 13.

Remote-Sensing Image Classification인용 수 60

한 줄 요약

SpectralGPT는 3D 생성 사전학습 트랜스포머로 구축된 스펙트럴 원격 탐지 기초 모델이며, 100만 장이 넘는 Sentinel-2 이미지를 사용해 학습했고, 장면 분류, 시맨틱 분할, 변화 탐지에서 평가를 받는다. 이는 최첨단 성능을 달성하고 다양한 이미지 크기와 데이터셋에 걸친 점진적 학습을 지원한다.

ABSTRACT

The foundation model has recently garnered significant attention due to its potential to revolutionize the field of visual representation learning in a self-supervised manner. While most foundation models are tailored to effectively process RGB images for various visual tasks, there is a noticeable gap in research focused on spectral data, which offers valuable information for scene understanding, especially in remote sensing (RS) applications. To fill this gap, we created for the first time a universal RS foundation model, named SpectralGPT, which is purpose-built to handle spectral RS images using a novel 3D generative pretrained transformer (GPT). Compared to existing foundation models, SpectralGPT 1) accommodates input images with varying sizes, resolutions, time series, and regions in a progressive training fashion, enabling full utilization of extensive RS big data; 2) leverages 3D token generation for spatial-spectral coupling; 3) captures spectrally sequential patterns via multi-target reconstruction; 4) trains on one million spectral RS images, yielding models with over 600 million parameters. Our evaluation highlights significant performance improvements with pretrained SpectralGPT models, signifying substantial potential in advancing spectral RS big data applications within the field of geoscience across four downstream tasks: single/multi-label scene classification, semantic segmentation, and change detection.

연구 동기 및 목표

• 스펙트럴 원격 탐지 데이터를 위한 기초 모델의 공백을 채우다.
• 공간-스펙트럴 결합 및 스펙트럴 시퀀스성을 포착하는 3D 마스킹 기반의 트랜스포머 프리트레이닝 프레임워크를 개발한다.
• 다양한 RS 데이터셋과 다양한 이미지 크기에서의 점진적 프리트레이닝을 가능하게 하여 견고한 일반화를 달성한다.
• 단일 라벨 및 다중 라벨 분류, 시맨틱 분할 및 변화 탐지에서 SOTA를 초과하는 개선을 입증한다.
• RS 작업을 위한 새로운 도시 시맨틱 분할 벤치마크 SegMunich를 도입한다.

제안 방법

• SpectralGPT를 3D 마스드 오토인코더 기반의 기초 모델로 도입하며, spectral RS 데이터에 특화된 MAE 유사 프레임워크 내에서 사용한다.
• H×W×D 데이터에서 공간-스펙트럴 토큰을 모델링하기 위해 90% 마스킹 비율의 3D 텐서 마스킹을 적용한다.
• 가시 토큰에서 공간-스펙트럴 표현을 학습하는 인코더와 다중 타깃 재구성을 위한 경량 디코더(토큰-토큰 및 스펙트럼-스펙트럼 재구성)를 사용한다.
• 다양한 크기, 해상도, 시계열, 지역의 데이터셋에서 대규모 Sentinel-2 기반 데이터셋에 대해 점진적 프리트레이닝을 적용한다.
• 두 개의 학습 가능한 위치 임베딩(공간 및 스펙트럼)과 8×8×3 토큰화가 포함된 ViT 기반 백본을 사용하고, 200에폭(fMoW-S2)에서 AdamW와 코사인 감소로, 그 다음 100에폭(BigEarthNet-S2)에서 학습한다.
• 사전학습된 SpectralGPT 및 SpectralGPT+를 미세조정으로 다운스트림 작업에서 평가한다: 단일 라벨 EuroSAT(정확도), 다중 라벨 BigEarthNet-S2(매크로/마이크로 mAP), 시맨틱 분할(OA 및 mIoU), 변화 탐지(정밀도/재현율/F1).

실험 결과

연구 질문

• RQ1 초고해상도 스펙트럼 데이터에서 3D 마스킹 생성 프리트레이닝 프레임워크가 공간-스펙트럼 결합 및 스펙트럴 시퀀트 정보를 포착할 수 있는가?
• RQ2 다양한 스펙트럴 RS 데이터셋에 걸친 점진적 프리트레이닝이 다운스트림 작업 성능과 일반화를 개선하는가?
• RQ3 SpectralGPT가 RGB 지향 기초 모델 및 이전의 스펙트럴 프리트레이닝 접근 방식과 RS 벤치마크에서 어떻게 비교되는가?
• RQ4 모델 규모(Base/Large/Huge)와 마스킹 전략이 다운스트림 RS 작업에 미치는 영향은 무엇인가?
• RQ5 새로운 SegMunich 벤치마크가 도시 RS 환경에서 시맨틱 분할 연구를 촉진할 수 있는가?

주요 결과

• SpectralGPT/Base는 fMoW-S2 프리트레이닝으로 EuroSAT에서 99.15% 정확도를 달성; fMoW-S2와 BigEarthNet를 함께 학습하면 정확도가 99.21%로 상승한다.
• SpectralGPT는 같은 설정에서 단일 라벨 분류에서 EuroSAT에서 ResNet50, SeCo, ViT, SatMAE 기반선보다 성능이 앞선다.
• BigEarthNet-S2에서 SpectralGPT 변종은 ViT/ImageNet-22k 및 SatMAE 기반선보다 더 높은 매크로/마이크로 mAP를 달성하며, SpectralGPT+는 매크로-mAP 88.22% 및 micro-mAP 87.50%를 기록한다(보고된 값).
• 모델은 90%의 3D 마스킹과 다중 타깃 재구성을 사용하여 공간-스펙트럼 및 스펙트럼 시퀀스 패턴 학습을 개선한다.
• 점진적 프리트레이닝은 다양한 크기, 해상도, 시계열 및 지역의 입력 이미지를 처리할 수 있게 하여 RS 데이터 전반에서 더 나은 일반화를 제공한다.
• 도시 RS 성능 평가를 위한 13개 클래스로 구성된 새로운 SegMunich 벤치마크 데이터셋이 도입되었다.