[논문 리뷰] Generating Synthetic Multispectral Satellite Imagery from Sentinel-2

Tharun Mohandoss, Aditya Kulkarni외 3명|arXiv (Cornell University)|2020. 12. 05.

Remote-Sensing Image Classification참고 문헌 12인용 수 8

한 줄 요약

이 논문은 WGAN-GP 손실을 사용하는 수정된 MSG-ProGAN 아키텍처를 제안하여, Sentinel-2 데이터에서 고해상도의 합성 다스펙트럴 위성 영상 생성한다. 10m 및 20m 해상도를 가진 10개의 밴드에서 256×256 해상도의 현실적인 영상을 생성하며, 인간이 구분할 수 없을 정도의 결과를 얻어 원격 감시 응용 분야에서 자료가 부족한 지역의 데이터 증강을 가능하게 한다.

ABSTRACT

Multi-spectral satellite imagery provides valuable data at global scale for many environmental and socio-economic applications. Building supervised machine learning models based on these imagery, however, may require ground reference labels which are not available at global scale. Here, we propose a generative model to produce multi-resolution multi-spectral imagery based on Sentinel-2 data. The resulting synthetic images are indistinguishable from real ones by humans. This technique paves the road for future work to generate labeled synthetic imagery that can be used for data augmentation in data scarce regions and applications.

연구 동기 및 목표

• 원격 감시 분야에서 지도 학습을 위한 글로벌하게 이용 가능한 레이블이 부여된 훈련 데이터의 부족 문제를 해결하기 위해, 특히 접근하기 어려운 또는 위험한 지역에서의 데이터 부족 문제를 해결한다.
• 다양한 스펙트럼 밴드와 다양한 공간 해상도를 갖춘 현실적인 다스펙트럴 위성 영상 생성을 위한 생성 모델을 개발한다.
• 자료가 부족한 지역에서의 땅 이용 분류 및 농업 모니터링과 같은 후속 응용 분야를 위한 데이터 증강을 가능하게 한다.
• 이미지 품질에 큰 영향을 주지 않으면서 모델 자원 요구량을 줄여 제한된 하드웨어 환경에서도 구동 가능하도록 한다.
• 미래의 연구를 위한 기반을 마련하기 위해, 해당 지표가 있는 합성 영상 생성을 위한 기초를 마련한다.

제안 방법

• 4×4에서 256×256 픽셀까지 점진적으로 해상도를 높이며, 다중 척도 기반의 기울기 피드백을 사용하는 MSG-ProGAN 아키텍처를 채택한다.
• 기존의 표준 RGB가 아닌 10개의 다스펙트럴 밴드(4개의 10m, 6개의 20m 해상도)를 출력하도록 생성자 및 판별자를 수정하며, 서로 다른 해상도에 맞는 별도의 처리 브랜치를 사용한다.
• 학습 안정화와 모드 붕괴, 분포 불일치 문제 완화를 위해, 기울기 페널티(λ = 10)를 적용한 WGAN-GP 손실을 적용한다.
• RMSProp 옵timizer를 사용하며 학습률은 10⁻³로 설정하고, 저해상도 밴드를 256×256 출력 크기로 맞추기 위해 최소 거리 인터폴레이션을 적용한다.
• 10m 및 20m 밴드를 병렬 브랜치에서 처리하고 판별자에서 공유된 특징 융합을 수행하는 해상도 인식 아키텍처를 구현한다.
• 필터 수를 줄이고 컨볼루션을 프루닝하여 모델 효율성을 최적화하며, 크기와 이미지 품질 간의 상호 교환 관계를 평가한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 실제 Sentinel-2 데이터와 인간이 시각적으로 구분할 수 없을 정도로 현실적인 다스펙트럴 위성 영상을 생성할 수 있는가?
• RQ2 1개의 이미지 생성 과정에서 다양한 공간 해상도(10m 및 20m)를 가진 다수의 스펙트럼 밴드를 처리하기 위해 생성 모델은 어떻게 적응시킬 수 있는가?
• RQ3 원래 RGB 영상 전용으로 설계된 표준 GAN 아키텍처를 다스펙트럴 원격 감시 영상에 확장하기 위해 어떤 아키텍처 수정이 필요한가?
• RQ4 이미지 현실성에 큰 영향을 주지 않으면서 모델 크기와 계산 자원 소비를 얼마나 줄일 수 있는가?
• RQ5 생성된 합성 영상이 자료가 부족한 지역에서의 지도 학습 응용 분야에 실질적인 데이터 증강 자료로 활용될 수 있는가?

주요 결과

• 모델은 10개의 밴드(4개의 10m, 6개의 20m)를 가진 256×256 다스펙트럴 합성 영상을 성공적으로 생성하여 인간 관찰자에게 실제 Sentinel-2 영상과 구분할 수 없을 정도로 현실감 있게 만들었다.
• 10m 및 20m 밴드를 별도의 해상도 인식 브랜치에서 처리하고 공유된 특징 융합을 적용한 아키텍처(3C)가 가장 높은 품질의 결과를 내며, 잘 동기화된 밴드와 최소한의 잡음 요소를 보였다.
• 각 레이어의 필터 수를 절반으로 줄임으로써 모델 크기를 크게 줄일 수 있었고, 이미지 품질에 거의 영향을 주지 않았으며, 컨볼루션 프루닝보다 우수한 성능을 보였다.
• 훈련 데이터의 클래스 불균형, 특히 작물 및 도시 지역과 같은 미반영된 땅 이용 유형에서 성능이 제한되었다.
• 최고 성능을 보인 모델(3C)은 현실적인 질감과 밴드 간 스펙트럼 일관성을 보였지만, 일부 다양성 손실이 관찰되었다.
• 이 방법은 10밴드 케이스로 일반화되었으며, 자원 효율적인 모델이 다스펙트럴 생성에 성공적으로 적용된 것으로 확인되었다.