[논문 리뷰] Predicting Landsat Reflectance with Deep Generative Fusion

Shahine Bouabid, Maxim Chernetskiy외 2명|arXiv (Cornell University)|2020. 11. 09.

Remote Sensing in Agriculture참고 문헌 35인용 수 6

한 줄 요약

이 논문은 조건부 GAN(cGAN)을 사용하여 저해상도, 매일 갱신되는 MODIS 반사율 데이터와 희박하게 제공되는 고해상도 랜드세이트 이미지를 융합함으로써 고해상도 랜드세이트 유사 반사율을 예측하는 딥 생성 융합 모델을 제안한다. 이 방법은 PSNR 24.0(NIR), SSIM 0.761, SAM 2.70을 기록하여 ESTARFM에 비해 우수한 품질과 사실성의 이미지를 구현하며, 이미지 품질 지표에서 최신 기술 수준을 달성한다.

ABSTRACT

Public satellite missions are commonly bound to a trade-off between spatial and temporal resolution as no single sensor provides fine-grained acquisitions with frequent coverage. This hinders their potential to assist vegetation monitoring or humanitarian actions, which require detecting rapid and detailed terrestrial surface changes. In this work, we probe the potential of deep generative models to produce high-resolution optical imagery by fusing products with different spatial and temporal characteristics. We introduce a dataset of co-registered Moderate Resolution Imaging Spectroradiometer (MODIS) and Landsat surface reflectance time series and demonstrate the ability of our generative model to blend coarse daily reflectance information into low-paced finer acquisitions. We benchmark our proposed model against state-of-the-art reflectance fusion algorithms.

연구 동기 및 목표

• 공개 위성 영상에서 공간 해상도와 시간 해상도 간의 상충 관계를 해결함으로써 빠른 지표면 변화 모니터링을 효과적으로 가능하게 하기 위해.
• 낮은 시간 빈도, 고공간 해상도의 랜드세이트 자료와 높은 시간 빈도, 저공간 해상도의 MODIS 자료를 융합하는 딥 생성 모델을 개발하기 위해.
• 학습 및 평가를 위한 공통 기준을 갖춘 랜드세이트와 MODIS 표면 반사율 시계열 데이터셋을 구축하기 위해.
• 정량적 및 정성적 지표를 사용하여 ESTARFM과 같은 최신 반사율 융합 기법들과 비교해 제안된 모델의 성능을 평가하기 위해.

제안 방법

• 최근에 확보된 랜드세이트 이미지의 공간적 구조를 유지하기 위해 스킵 연결을 갖춘 U-Net 생성기 구조를 사용하여, 네트워크가 오직 시간적 변화만 학습하도록 유도한다.
• 지역적 이미지 패치를 분류하는 패치 GAN 판별기를 활용하여 고주파 수준의 질감 생성과 사실적인 이미지 세부 정보를 촉진한다.
• L1 손실과 SSIM 손실의 조합을 적용하여 적대적 훈련의 안정성을 높이고, 체크무늬 무늬와 같은 아티팩트를 감소시킨다.
• 랜드세이트-MODIS 반사율 시계열 데이터 쌍을 사용하여 모델을 엔드 투 엔드로 훈련하며, 256×256 패치의 무작위 자르기 방식을 통한 데이터 증강을 적용한다.
• MODIS 데이터를 30m 해상도로 재샘플링하고, 이중선형 보간법과 지오레퍼런싱을 사용하여 랜드세이트와 공간적으로 정렬한다.
• 적대적 손실, L1 손실, SSIM 손실을 최적화하여 시각적 품질과 픽셀 수준의 정확성 간 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 저해상도, 매일 갱신되는 MODIS 반사율과 희박하게 제공되는 고해상도 랜드세이트 자료를 효과적으로 융합하여 현실적인 고해상도 표면 반사율 예측을 수행할 수 있는가?
• RQ2 제안된 cGAN 기반 융합 모델은 전통적인 통계적 방법인 ESTARFM에 비해 이미지 품질과 시간 일관성 측면에서 어떻게 비교되는가?
• RQ3 L1 손실 외에 SSIM 손실을 함께 사용할 경우, 생성된 반사율 이미지의 안정성과 현실성은 L1 단독 supervision에 비해 얼마나 향상되는가?
• RQ4 복잡한 시간 동적 변화를 보이는 다양한 지표면 유형(농경지, 산림, 도시 지역 등)에 대해 모델은 일반화 능력을 갖추고 있는가?

주요 결과

• L1 및 SSIM 손실을 적용한 제안된 cGAN 모델은 NIR 파장에서 PSNR 24.0을 기록하여 ESTARFM의 19.6에 비해 뚜렷이 뛰어난 성능을 보였다.
• 모델은 NIR 파장에서 SSIM 점수 0.761을 달성하여, ESTARFM의 0.555에 비해 지표와 더 유사한 구조적 유사성을 보였다.
• 스펙트럼 각도 맵퍼(SAM) 점수는 2.70(×10⁻²)로 감소하여 ESTARFM의 4.88에 비해 개선된 스펙트럼 정밀도를 나타냈다.
• 정성적 결과에서는 cGAN 모델이 미세한 공간적 세부 정보를 더 잘 유지하고 있으며, 특히 이질적인 지형에서 MODIS 반사율을 랜드세이트 기하학에 정확하게 융합하는 데에 뛰어난 성능을 보였다.
• SSIM 손실의 포함으로 인해 훈련이 안정화되고, 체크패턴 무늬와 같은 적대적 아티팩트가 감소하여 시각적 품질이 향상되었다.
• 입력 랜드세이트 이미지가 예측 일자로부터 시간적으로 멀어져 있더라도 모델은 반사율을 정확히 예측하는 데에 강건한 성능를 보였으며, 이는 ESTARFM이 이러한 경우에 어려움을 겪는 것과 대비된다.