[논문 리뷰] Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark

Fang Xu, Yilei Shi외 3명|arXiv (Cornell University)|2023. 01. 09.

Advanced Image Fusion Techniques인용 수 6

한 줄 요약

이 논문은 다중모달(광학 및 SAR) 및 다중해상도 데이터 융합을 활용한 고해상도 구름 제거를 위한 새로운 벤치마크 데이터셋인 Planet-CR를 소개한다. 또한 재구성 과정에서 특징을 암묵적으로 정렬하는 Align-CR 방법을 제안하여, 새로운 벤치마크에서 시각적 및 의미적 재구성 품질 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Cloud removal is a significant and challenging problem in remote sensing, and in recent years, there have been notable advancements in this area. However, two major issues remain hindering the development of cloud removal: the unavailability of high-resolution imagery for existing datasets and the absence of evaluation regarding the semantic meaningfulness of the generated structures. In this paper, we introduce M3R-CR, a benchmark dataset for high-resolution Cloud Removal with Multi-Modal and Multi-Resolution data fusion. With this dataset, we consider the problem of cloud removal in high-resolution optical remote sensing imagery by integrating multi-modal and multi-resolution information. In this context, we have to take into account the alignment errors caused by the multi-resolution nature, along with the more pronounced misalignment issues in high-resolution images due to inherent imaging mechanism differences and other factors. Existing multi-modal data fusion based methods, which assume the image pairs are aligned accurately at pixel-level, are thus not appropriate for this problem. To this end, we design a new baseline named Align-CR to perform the low-resolution SAR image guided high-resolution optical image cloud removal. It gradually warps and fuses the features of the multi-modal and multi-resolution data during the reconstruction process, effectively mitigating concerns associated with misalignment. In the experiments, we evaluate the performance of cloud removal by analyzing the quality of visually pleasing textures using image reconstruction metrics and further analyze the generation of semantically meaningful structures using a well-established semantic segmentation task. The proposed Align-CR method is superior to other baseline methods in both areas.

연구 동기 및 목표

• 쌍체의 광학 및 SAR 데이터를 포함한 고해상도, 전 세계적으로 분포된 구름 제거 데이터셋의 부족을 해결하기 위해.
• 시각적 지표를 넘어서 픽셀 수준의 지형 구조 정보를 포함한 지형 분류 애너테이션을 통합하여 의미적 구조 복원 평가를 가능하게 하기 위해.
• 이미지가 픽셀 수준에서 정렬되어 있지 않은 경우에도 다중모달 및 다중해상도 데이터 융합을 위한 강력한 방법을 개발하기 위해.
• 시각적 및 의미적 평가를 모두 지원하는 고해상도 구름 제거를 위한 새로운 기준과 벤치마크를 수립하기 위해.
• 현재의 시각적 지표가 의미적 정확성을 얼마나 잘 반영하는지에 대한 문제를 제기하고, 의미 일致성을 우선시하는 손실 함수의 필요성을 주장하기 위해.

제안 방법

• 저자들은 표면 변화를 최소화하기 위해 근접한 시간에 촬영된 고해상도(3m) PlanetScope 광학 영상(구름 없는 상태와 구름 있는 상태)을 수집한다.
• 구름 영향을 받은 영역에 대한 구조적 사전 지식을 제공하기 위해 Sentinel-1 SAR 데이터를 구름 투과 모odal로 통합한다.
• Planet-CR 데이터셋은 WorldCover에서 제공하는 픽셀 수준의 지형 분류 애너테이션을 포함하여 의미 평가를 가능하게 한다.
• 제안된 Align-CR 방법은 저해상도 SAR와 고해상도 광학 영상 간의 명시적 공간 정렬을 피하면서 재구성 과정에서 특징을 암묵적으로 정렬한다.
• Align-CR는 다중모달 특징 융합 및 고해상도 구름 없는 영상 재구성에 위해 컷스오버 어텐션 모듈을 갖춘 U-Net 기반 생성자 사용한다.
• 이 방법은 픽셀 수준 재구성에 대한 L1 손실과 사전 학습된 지형 분류 분류기 헤드를 활용한 의미 일치 손실의 조합으로 훈련된다.

실험 결과

연구 질문

• RQ1 다중모달 및 다중해상도 데이터 융합이 현재의 시각적 품질 지표를 넘어서 고해상도 구름 제거 성능을 크게 향상시킬 수 있는가?
• RQ2 딥 러닝 프레임워크 내에서 암묵적 특징 정렬이 SAR와 광학 영상 간의 비정렬 상태를 다룰 때 명시적 공간 정렬보다 어떻게 비교되는가?
• RQ3 현재의 시각적 지표(예: PSNR, SSIM)가 구름 제거 작업에서 의미적 재구성 품질과 얼마나 상관이 있는가?
• RQ4 시각적 충실도와 의미 일치성을 균형 잡는 통합 손실 함수가 더 나은 구름 없는 영상 복원을 이끌 수 있는가?
• RQ5 입력 영상 내에서 구름 없는 영역의 가용성이 의미 정확도 측면에서 구름 제거 모델의 성능에 어떻게 영향을 미치는가?

주요 결과

• Align-CR는 모든 구름 커버 수준에서 시각적 복원 품질(PSNR, SSIM 측정)과 의미적 복원 품질(mIoU 측정) 모두에서 최고의 성능을 기록한다.
• mIoU 결과는 Align-CR이 기준 방법들을 능가함을 보여주며, 특히 정렬을 위한 구름 없는 기준 영역이 더 많을수록 성능 향상이 두드러진다.
• 시각적 지표가 뛰어난 SAR-Opt-cGAN는 McGAN과 SpA GAN보다 낮은 mIoU를 기록함으로써, 시각적 정확성과 의미 정확성 간의 괴리가 있음을 시사한다.
• 시각적 지표와 의미적 품질 간의 괴리가 가장 뚜렷하게 드러나는 것은 고구름 커버 수준(80–100%)에서이며, 이 경우 시각적 지표만으로는 의미적 열화를 반영하지 못한다.
• 제거 분석 결과 암묵적 정렬(Align-CR)이 비정렬 훈련(w/o Align)보다 시각적 및 의미적 지표에서 일관되게 뛰어난 성능을 보임을 확인하였다.
• 벤치마크는 현재의 시각적 지표가 후속 의미적 작업에서의 구름 제거 방법 평가에 부적합함을 드러내며, 의미 일치성을 우선시하는 새로운 손실 함수의 필요성을 시사한다.