[논문 리뷰] A Remote Sensing Image Dataset for Cloud Removal

Daoyu Lin, Guangluan Xu외 4명|arXiv (Cornell University)|2019. 01. 03.

Advanced Image Fusion Techniques참고 문헌 1인용 수 73

한 줄 요약

이 논문은 원격 탐지 이미지의 구름 제거를 위한 RICE 데이터셋을 소개합니다. RICE-I(500개의 구름/맑은 이미지 쌍)와 RICE-II( L... Landsat 유래 구름/맑은 트립렛)으로 구성되며, PSNR 및 SSIM으로 평가된 baseline pix2pix 결과를 제공합니다.

ABSTRACT

Cloud-based overlays are often present in optical remote sensing images, thus limiting the application of acquired data. Removing clouds is an indispensable pre-processing step in remote sensing image analysis. Deep learning has achieved great success in the field of remote sensing in recent years, including scene classification and change detection. However, deep learning is rarely applied in remote sensing image removal clouds. The reason is the lack of data sets for training neural networks. In order to solve this problem, this paper first proposed the Remote sensing Image Cloud rEmoving dataset (RICE). The proposed dataset consists of two parts: RICE1 contains 500 pairs of images, each pair has images with cloud and cloudless size of 512*512; RICE2 contains 450 sets of images, each set contains three 512*512 size images. , respectively, the reference picture without clouds, the picture of the cloud and the mask of its cloud. The dataset is freely available at \url{https://github.com/BUPTLdy/RICE_DATASET}.

연구 동기 및 목표

• 광학 원격 탐사 이미지에서 구름 제거의 필요성을 동기화하고 딥러닝 접근을 가능하게 한다.
• 구름 제거 모델의 학습 및 평가를 지원하는 벤치마크 데이터셋(RICE)을 제공한다.
• 미래 방법의 참조를 확립하기 위한 기초 정량적 결과를 제시한다.

제안 방법

• Google Earth에서 구름/맑은 쌍을 얻고 겹치지 않도록 512x512로 자른다.
• Landsat 8 LandsatLook 이미지를 이용해 15일 이내의 구름 포함 참조와 구름 없는 참조를 정렬해 RICE-II를 구성한다.
• 구름 제거의 baseline 모델로 pix2pix를 사용하고, 입력은 구름 이미지와 마스크를 연결한(concatenation) 형태이다.
• PSNR와 SSIM 지표로 성능을 평가한다.
• 향후 확장을 위한 데이터셋 세부정보와 정성적 고려사항을 보고한다.

실험 결과

연구 질문

• RQ1 구름이 있는 원격 탐사 이미지와 구름 없는 이미지의 페어 데이터셋이 학습 기반 구름 제거를 지원할 수 있는가?
• RQ2 RICE에서 조건부 이미지 변환 모델의 baseline PSNR 및 SSIM 성능은 어느 정도인가?
• RQ3 RICE-I와 RICE-II 서브세트 간 구름 제거 결과는 어떻게 다른가?

주요 결과

• RICE-I는 baseline 평가에서 PSNR 31.03 및 SSIM 0.91을 달성.
• RICE-II는 baseline 평가에서 PSNR 30.04 및 SSIM 0.80을 달성.
• 이 데이터셋은 원격 탐사에서 딥러닝 기반 구름 제거를 촉진하기 위한 공개 리소스(GitHub)를 제공한다.
• baseline 실험은 데이터셋이 감독 학습 구름 제거 작업에 유용함을 시사한다.