[논문 리뷰] Deep learning based cloud detection for remote sensing images by the fusion of multi-scale convolutional features.

Zhiwei Li, Huanfeng Shen외 4명|arXiv (Cornell University)|2018. 10. 13.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

이 논문은 다중 해상도 컨볼루션 특징을 인코더-디코더 아키텍처와 새로운 특징 융합 모듈을 통해 융합하는 딥러닝 기반의 클라우드 검출 방법인 MSCFF를 제안한다. 다양한 표면 유형과 0.5–50m 해상도를 가진 다양한 옵티컬 위성 영상에서 뛰어난 정확도를 달성하며, 특히 밝은 표면에서 전통적인 방법들이 실패하는 경우에도 뛰어난 성능을 보이며, 규칙 기반 및 최신 딥러닝 방법을 모두 능가한다.

ABSTRACT

Cloud detection is an important preprocessing step for the precise application of optical satellite imagery. In this paper, we propose a deep convolutional neural network based cloud detection method named multi-scale convolutional feature fusion (MSCFF) for remote sensing images. In the network architecture of MSCFF, the encoder and corresponding decoder modules, which provide both local and global context by densifying feature maps with trainable filter banks, are utilized to extract multi-scale and high-level spatial features. The feature maps of multiple scales are then up-sampled and concatenated, and a novel MSCFF module is designed to fuse the features of different scales for the output. The output feature maps of the network are regarded as probability maps, and fed to a binary classifier for the final pixel-wise cloud and cloud shadow segmentation. The MSCFF method was validated on hundreds of globally distributed optical satellite images, with spatial resolutions ranging from 0.5 to 50 m, including Landsat-5/7/8, Gaofen-1/2/4, Sentinel-2, Ziyuan-3, CBERS-04, Huanjing-1, and collected high-resolution images exported from Google Earth. The experimental results indicate that MSCFF has obvious advantages over the traditional rule-based cloud detection methods and the state-of-the-art deep learning models in terms of accuracy, especially in bright surface covered areas. The effectiveness of MSCFF means that it has great promise for the practical application of cloud detection for multiple types of satellite imagery. Our established global high-resolution cloud detection validation dataset has been made available online.

연구 동기 및 목표

• 다양한 표면 유형에 걸쳐 옵티컬 위성 영상에서 정확한 클라우드 및 클라우드 그림자 검출 문제를 해결하기 위해.
• 기존 방법이 종종 실패하는 밝은 표면 영역에서의 클라우드 검출 성능을 향상시키기 위해.
• 다양한 공간 해상도를 가진 여러 위성 센서에 적용 가능한 강력한 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 클라우드 검출 연구를 위한 글로벌 대표성 있는 고해상도 검증 데이터셋을 구축하기 위해.

제안 방법

• MSCFF 네트워크는 다중 해상도 고수준 공간 특징을 추출하기 위해 학습 가능한 필터 백을 갖춘 인코더-디코더 아키텍처를 사용한다.
• 다양한 해상도에서 유도된 특징 맵은 업샘플링되어 연결된 후, 새로운 다중 해상도 컨볼루션 특징 융합(MSCFF) 모듈을 통과한다.
• MSCFF 모듈은 학습 가능한 필터를 사용해 다양한 해상도 간의 특징을 융합하여 국소적 및 전반적인 맥락 표현을 향상시킨다.
• 최종 출력 특징 맵은 확률 맵으로 간주되며, 픽셀 단위의 클라우드 및 클라우드 그림자 분할을 위해 이진 분류기로 전달된다.
• 네트워크는 여러 센서에서 온 글로벌 분포를 가진 대규모 옵티컬 위성 영상 데이터셋을 기반으로 엔드 투 엔드로 훈련된다.
• 모델은 랜드세트, 가오펜, 셰릴리언-2, 지위위안-3, CBERS-04, 훙징-1, 구글 어스의 영상에서 평가되었으며, 공간 해상도는 0.5–50m를 커버한다.

실험 결과

연구 질문

• RQ1 다양한 공간 해상도를 가진 다양한 옵티컬 위성 센서에서 딥러닝 모델이 효과적으로 클라우드 및 클라우드 그림자를 검출할 수 있는가?
• RQ2 제안된 다중 해상도 특징 융합 메커니즘이 기존 방법에 비해 검출 정확도를 어떻게 향상시키는가?
• RQ3 밝은 표면 조건에서 기존의 규칙 기반 방법에 비해 모델이 얼마나 뛰어난 성능을 보이는가?
• RQ4 모델이 글로벌 위성 영상의 다양한 표면 유형과 대기 조건에서 일반화 가능한가?
• RQ5 제안된 특징 융합 모듈이 특징 표현 및 분할 성능에 미치는 영향은 무엇인가?

주요 결과

• MSCFF는 특히 밝은 표면 영역에서 기존 규칙 기반 클라우드 검출 방법보다 유의미하게 높은 정확도를 달성한다.
• 모델은 테스트된 모든 위성 센서에서 최신 딥러닝 모델을 능가하는 클라우드 및 클라우드 그림자 분할 성능을 보인다.
• 다중 해상도 특징 융합 메커니즘은 국소적 및 전반적인 맥락을 향상시켜 특징 표현과 분할 정밀도를 향상시킨다.
• 모델은 다양한 공간 해상도(0.5–50m)와 센서 유형에서 강력한 일반화 능력을 보인다.
• 저자들은 향후 연구를 지원하기 위해 글로벌 대표성 있는 고해상도 클라우드 검출 검증 데이터셋을 공개하였다.