[논문 리뷰] SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models

Orkhan Baghirli, Hamid Askarov외 3명|arXiv (Cornell University)|2023. 09. 28.

Remote-Sensing Image ClassificationEngineering인용 수 3

한 줄 요약

이 논문은 분류기 자유 가이던싱과 적응형 정규화와 같은 고도의 기법을 사용하여 의미적 레이아웃 지ap으로부터 고해상도이자 다양한 위성 영상을 생성하는 조건부 확산 모델인 SatDM을 소개한다. 새로운 SAT25K 데이터셋에서 평가된 SatDM는 인간 평가자에 의한 샘플이 실제 영상과 구분되지 않을 정도로 최고 수준의 성능을 달성하여 원격 감지 분야에서 데이터 증강 잠재력을 입증한다.

ABSTRACT

Deep learning models in the Earth Observation domain heavily rely on the availability of large-scale accurately labeled satellite imagery. However, obtaining and labeling satellite imagery is a resource-intensive endeavor. While generative models offer a promising solution to address data scarcity, their potential remains underexplored. Recently, Denoising Diffusion Probabilistic Models (DDPMs) have demonstrated significant promise in synthesizing realistic images from semantic layouts. In this paper, a conditional DDPM model capable of taking a semantic map and generating high-quality, diverse, and correspondingly accurate satellite images is implemented. Additionally, a comprehensive illustration of the optimization dynamics is provided. The proposed methodology integrates cutting-edge techniques such as variance learning, classifier-free guidance, and improved noise scheduling. The denoising network architecture is further complemented by the incorporation of adaptive normalization and self-attention mechanisms, enhancing the model's capabilities. The effectiveness of our proposed model is validated using a meticulously labeled dataset introduced within the context of this study. Validation encompasses both algorithmic methods such as Frechet Inception Distance (FID) and Intersection over Union (IoU), as well as a human opinion study. Our findings indicate that the generated samples exhibit minimal deviation from real ones, opening doors for practical applications such as data augmentation. We look forward to further explorations of DDPMs in a wider variety of settings and data modalities. An open-source reference implementation of the algorithm and a link to the benchmarked dataset are provided at https://github.com/obaghirli/syn10-diffusion.

연구 동기 및 목표

• 지구 관측 분야에서 데이터 부족 문제를 해결하기 위해, 제한적이고 비용이 많이 드는 레이블링이 필요한 데이터셋을 보완하기 위해 현실적인 위성 영상을 생성하는 것.
• 의미적 레이아웃 지도로부터 고품질의 위성 영상을 합성할 수 있는 조건부 확산 모델을 개발하는 것.
• 훈련 및 평가를 위해 위성 영상과 의미적 지도가 쌍으로 구성된 정교하게 촬영된 건물 기초 데이터셋인 SAT25K를 소개하는 것.
• 정량적 지표(FID, IoU)와 인간 평가를 통한 실사성 및 일반화 능력 평가를 통해 모델 성능을 검증하는 것.
• 재현 가능성을 보장하고 원격 감지 분야 연구에서의 광범위한 도입을 가능하게 하기 위해 오픈소스 코드와 모델 가중치를 공개하는 것.

제안 방법

• 모델는 의미적 레이아웃 지도에 조건부로 잠재 표현을 복원하는 조건부 노이즈 제거 확산 확률 모델(DDPM)을 사용한다.
• 훈련 안정성을 향상시키기 위해 분산 학습을 통합하고, 클래스 레이블이 필요 없이 샘플 품질을 향상시키기 위해 분류기 자유 가이던싱을 적용한다.
• 노이즈 제거 U-Net 아키텍처는 공간적 종속성과 질감 세부 정보를 더 잘 포착하기 위해 적응형 인스턴스 정규화와 자기 어텐션 메커니즘을 통합한다.
• 노이즈 제거 과정을 향상시키고 샘플 다양성을 높이기 위해 개선된 노이즈 스케줄링 전략을 적용한다.
• 훈련 중에 데이터 증강을 적용하면서, 옵티컬 위성 영상 타일과 해당 의미적 레이아웃을 포함한 자체 제작 데이터셋에서 모델을 훈련시킨다.
• 추론 과정은 임의의 노이즈에서 시작하여 의미 지도에 의해 안내되며, 점차적으로 현실적인 영상으로 노이즈를 제거하는 역방향 확산 궤적을 따른다.

실험 결과

연구 질문

• RQ1 의미적 레이아웃 지도에 조건부로 설정된 조건부 확산 모델이 실제 영상과 눈에 띄게 구별되지 않는 사진처럼 사실적인 위성 영상을 생성할 수 있는가?
• RQ2 모델 성능은 다양한 해상도에서 어떻게 변화하는가? 아키텍처 설계는 영상 품질을 유지하는 데 어떤 역할을 하는가?
• RQ3 생성된 영상이 훈련 데이터에 과적합되는 것을 방지하고 일반화 능력이 얼마나 우수한가? 실제 샘플과의 임베딩 유사도로 측정된다.
• RQ4 복잡한 도시 및 농촌 환경에서 다양하고 구조적으로 정확한 영상을 얼마나 효과적으로 생성할 수 있는가?
• RQ5 인간 평가자들이 실제 영상과 생성된 위성 영상 사이를 신뢰성 있게 구별할 수 있는가? 이는 합성의 현실성에 어떤 함의를 갖는가?

주요 결과

• 제안된 SatDM 모델은 128×128 해상도 기준 벤치마크에서 Fréchet Inception Distance(FID) 12.4를 달성하여 고품질 영상 합성 능력을 입증했다.
• 128×128 해상도에서의 인간 평가 결과, 실제 영상로 식별률이 53.5%로 나타나 생성된 영상이 실제 영상과 거의 구별되지 않음을 시사한다.
• 128×128 모델는 64×64 모델보다 초기 노이즈 제거 단계에서 구조적 및 질감적 특징을 더 빨리 학습하여 고주파 세부 정보 복구 능력이 뛰어나다.
• 인painting 실험 결과, 모델가 풍부한 의미적 및 맥락적 이해를 습득하여 일관되고 타당한 장면 보완을 생성함을 확인했다.
• 인터폴레이션 결과는 이미지 간에 매끄럽고 의미적으로 유의미한 전환을 보여주어 모델의 잠재 공간 내 연속성을 입증했다.
• 코사인 유사도 분석 결과, 생성된 샘플이 임베딩 공간에서 어느 한 훈련 이미지도 정확히 따라하지 않아 과적합의 시각적 징후가 없음을 확인했다.