[논문 리뷰] DiffusionSat: A Generative Foundation Model for Satellite Imagery

Samar Khanna, Patrick Liu외 6명|arXiv (Cornell University)|2023. 12. 06.

Computational and Text Analysis Methods인용 수 31

한 줄 요약

DiffusionSat은 텍스트와 메타데이터에 조건을 걸려 단일 이미지 생성과 초해상도, 시간적 생성, 인페인팅을 위한 3D 제어를 가능하게 하는 위성 영상용 대규모 잠재 확산 생성 모델이다.

ABSTRACT

Diffusion models have achieved state-of-the-art results on many modalities including images, speech, and video. However, existing models are not tailored to support remote sensing data, which is widely used in important applications including environmental monitoring and crop-yield prediction. Satellite images are significantly different from natural images -- they can be multi-spectral, irregularly sampled across time -- and existing diffusion models trained on images from the Web do not support them. Furthermore, remote sensing data is inherently spatio-temporal, requiring conditional generation tasks not supported by traditional methods based on captions or images. In this paper, we present DiffusionSat, to date the largest generative foundation model trained on a collection of publicly available large, high-resolution remote sensing datasets. As text-based captions are sparsely available for satellite images, we incorporate the associated metadata such as geolocation as conditioning information. Our method produces realistic samples and can be used to solve multiple generative tasks including temporal generation, superresolution given multi-spectral inputs and in-painting. Our method outperforms previous state-of-the-art methods for satellite image generation and is the first large-scale generative foundation model for satellite imagery. The project website can be found here: https://samar-khanna.github.io/DiffusionSat/

연구 동기 및 목표

• 위성 영상의 스펙트럴(파장), 시간적 특성 및 메타데이터 특성에 맞춘 확산 기반 생성 모델의 필요성을 동기 부여한다.
• 메타데이터를 조건 신호로 활용하여 공개적으로 이용 가능한 고해상도 위성 데이터셋에서 학습된 잠재 확산 모델인 DiffusionSat를 제안한다.
• 다중 스펙트럼 초해상도, 시간적 생성, 인페인팅과 같은 작업을 가능하게 하는 3D 조건 부여 확장(ControlNet 유사)을 개발한다.
• DiffusionSat가 위성 영상 생성 및 관련 역문제에서 최첨단 성능을 달성함을 입증한다.
• 다양한 지리공간 작업에 적응할 수 있는 공개 선행 학습 데이터셋과 학습 프로토콜을 제공한다.

제안 방법

• VAE로 다운샘플링하고 잠재 공간에서 확산을 수행하며 디코더로 업샘플링하는 잠재 확산 프레임워크를 사용하고 Stable Diffusion 가중치에서 초기화한다.
• 수치형 위성 메타데이터를 사인파 투영과 데이터별 MLP로 인코딩하고, 타임스텝 임베딩과 함께 최종 조건 벡터에 합산한다.
• 캡션이 존재할 경우 CLIP 유사 텍스트 캡션으로 디노이징 네트워크에 조건을 부여하고, 그렇지 않으면 메타데이터 및 타임스텝 조건에 의존한다.
• 시퀀스 이미지(시간적 생성을 위한) 처리를 위한 3D-컨트롤넷 영감을 받은 조건 부여 메커니즘을 도입하고, 시간적 어텐션과 SD 블록 간의 3D 제로 컨볼루션을 포함한다.
• 다중 데이터셋 위성 영상(fMoW, Satlas, SpaceNet)과 관련 메타데이터(위도/경도, 타임스탬프, GSD, 구름 덮개 등)로 학습한다.
• 단일 이미지 생성 및 다운스트림 조건 작업(초해상도, 시간 예측 및 인페인팅)에 모델을 적용하고, 기준선 대비 향상된 지표를 시연한다.

Figure 1: Conditioning on freely available metadata and using large, publicly available satellite imagery datasets shows DiffusionSat is a powerful generative foundation model for remote sensing data.

실험 결과

연구 질문

• RQ1 확산 기반 기초 모델을 메타데이터를 조건 신호로 사용하여 위성 영상에 효과적으로 학습시켜 고품질 단일 이미지 생성을 달성할 수 있는가?
• RQ2 3D 조건 부여 프레임워크가 다중 작업 생성(초해상도, 시간 예측, 인페인팅)을 원격감시 데이터에서 신뢰성 있게 가능하게 할 수 있는가?
• RQ3 위성 영상에서 메타데이터 인식 조건과 텍스트 전용 조건의 차이가 생성 품질 및 제어에 어떤 영향을 미치는가?
• RQ4 위성 데이터에 적응된 사전 학습된 잠재 확산 가중치가 역문제에 대해 처음부터 학습된 모델보다 더 나은 다운스트림 성능을 가능하게 하는가?
• RQ5 다양한 GSD와 스펙트럴 밴드를 가진 fMoW, Satlas, SpaceNet 등 다양한 위성 데이터셋에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• DiffusionSat는 단일 이미지 위성 생성에서 강력한 시각적 및 지각적 품질을 달성하여 FID, IS, CLIP 점수에서 베이스라인을 능가한다.
• 사인 파형 임베딩과 데이터별 MLP를 통한 수치형 메타데이터의 도입은 캡션 전용 조건보다 생성 품질을 향상시킨다.
• 3D 조건 부여 방식은 다중 스펙트럼 초해상도, 시간 생성, 인페인팅 등 다운스트림 작업에서 최첨단 또는 경쟁력 있는 성능을 가능하게 한다.
• DiffusionSat는 시간 예측 및 인페인팅 벤치마크에서 STSR 및 MCVD 같은 baselines보다 LPIPS가 더 좋고 SSIM/PSNR은 경쟁력 있게 나타난다.
• 대규모 공개 위성 데이터셋에 대한 사전 학습과 대부분의 Stable Diffusion 가중치를 고정하고 노이즈 제거 네트와 메타데이터 인코더만 학습하는 방식이 수렴 속도를 높이고 기존 가중치를 활용한다.

Figure 2: DiffusionSat flexibly extends to a variety of conditional generation tasks. We design a 3D version of a ControlNet (Zhang & Agrawala, 2023 ) which can accept a sequence of images. Like regular ControlNets, our 3D ControlNet keeps a trainable copy of SD weights for the downsampling and midd