[논문 리뷰] Seeing Through Clouds in Satellite Images

M. Zhao, Peder A. Olsen외 1명|arXiv (Cornell University)|2021. 06. 15.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 다중시기적 광학 위성 데이터와 합성(aperture) 레이더(SAR)의 전파 주파수(RF) 신호를 융합하여 구름 없는 다중스펙트럼 위성 영상을 재구성하는 새로운 신경망 모델인 SpaceEye를 제안한다. 이는 정확하고 매일 구름 제거가 가능한 방법을 제공한다. 기존 기준 대비 PSNR에서 8dB 향상을 이룩하였으며, 농업, 홍수 모니터링, wildfi re 감지와 같은 중요한 응용 분야에 공개된 데이터를 활용해 가능하게 한다.

ABSTRACT

This paper presents a neural-network-based solution to recover pixels occluded by clouds in satellite images. We leverage radio frequency (RF) signals in the ultra/super-high frequency band that penetrate clouds to help reconstruct the occluded regions in multispectral images. We introduce the first multi-modal multi-temporal cloud removal model. Our model uses publicly available satellite observations and produces daily cloud-free images. Experimental results show that our system significantly outperforms baselines by 8dB in PSNR. We also demonstrate use cases of our system in digital agriculture, flood monitoring, and wildfire detection. We will release the processed dataset to facilitate future research.

연구 동기 및 목표

• 광학 위성 영상에서 지속적인 구름 가림 문제를 해결하여 환경 변화의 실시간 모니터링을 가능하게 한다.
• 구름을 관통할 수 있는 보완적인 RF 신호를 활용해 정확하고 구름 없는 다중스펙트럼 영상을 재구성하는 방법을 개발한다.
• 지상 기반의 구름 없는 영상이 필요 없이도 광학 및 SAR 데이터를 융합하는 다모달, 다중시기적 딥 러닝 프레임워크를 구축한다.
• 지속적이고 매일 구름 없는 영상 출력을 제공하여 디지털 농업, 홍수 모니터링, 화재 감지와 같은 실용적 응용을 가능하게 한다.
• 향후 연구를 지원하기 위해 처리된 데이터셋을 공개한다.

제안 방법

• 모델은 다중모달 어텐션 메커니즘을 사용하여 다중스펙트럼 영상과 SAR에서 유도된 RF 반사도 지도를 융합하며, 공간적 및 시간적 정렬을 수행한다.
• 목표 분포의 부분 관측을 기반으로 작동하는 수정된 적대적 훈련 기법을 도입하여, 지상 기반의 구름 없는 영상이 없더라도 고해상도 재구성을 가능하게 한다.
• 공개된 Sentinel-1(SAR) 및 Sentinel-2(다중스펙트럼) 데이터를 활용하며, 시간적 및 공간적 차원을 정렬하기 위해 처리한다.
• 손실된 픽셀을 복구하기 위해 감쇠 보간법과 저질서 행렬 완성 기법을 융합한 새로운 최적화 프레임워크를 구현하며, 계산 효율성을 위해 고정된 질서 35를 사용한다.
• 사전 계산된 역행렬을 사용하는 폐쇄형 반복 알고리즘을 적용하여 GPU 가속을 통한 추론에서 계산 오버헤드를 최소화한다.
• 재구성된 영상의 구조적 및 스펙트럼 정합성을 유지하기 위해, 인지적 손실과 적대적 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 SAR의 RF 신호를 효과적으로 활용하여 높은 정확도로 구름에 가림을 입은 광학 위성 영상을 재구성할 수 있는가?
• RQ2 다중모달(광학 및 RF) 및 다중시기 위성 데이터를 어떻게 융합하여 매일 구름 없는 영상 예측을 가능하게 할 수 있는가?
• RQ3 지상 기반의 구름 없는 영상이 없더라도 딥 러닝 모델이 고해상도의 구름 제거를 달성할 수 있는가?
• RQ4 기존의 단일모달 또는 비시기적 접근 대비 다중모달, 다중시기 융합 기법이 구름 제거에서 어떤 성능 향상을 보이는가?
• RQ5 제안된 방법은 홍수 추적 및 작물 모니터링과 같은 시간 민감도가 높은 응용 분야에서 얼마나 향상된 모니터링을 가능하게 하는가?

주요 결과

• 제안된 SpaceEye 모델은 기존 기준 대비 PSNR에서 8dB 향상을 기록하여, 구름 제거 분야에서 최신 기술을 크게 능가한다.
• 시스템은 워싱턴주 카너레이션에서 홍수 발생 시기인 2월 7일에 정체된 물의 범위를 정확히 재구성하였으며, 지속적인 구름 가림 속에서도 2月中旬 이후의 배수 과정까지도 정확히 포착하였다.
• 모델은 작물의 싹트기 및 생장 주기 모니터링을 일관되게 가능하게 하여 디지털 농업 분야에서 뛰어난 성능을 보였다.
• 화재 감지에 있어 구름 없는 영상을 제공함으로써 초기 화재 흔적 및 화재 후 복구 상황을 신뢰성 있게 감지할 수 있었다.
• 지상 기반의 구름 없는 영상이 없더라도, 부분 관측을 기반으로 한 새로운 적대적 훈련 기법 덕분에 고해상도 재구성이 가능했다.
• 연구진은 향후 다중모달 지구 관측 연구를 지원하기 위해 공개된 Sentinel 미션 데이터에서 파생된 처리된 데이터셋을 공개할 예정이다.