[논문 리뷰] DeepMask: an algorithm for cloud and cloud shadow detection in optical satellite remote sensing images using deep residual network

Ke Xu, Kaiyu Guan외 3명|arXiv (Cornell University)|2019. 11. 09.

Remote Sensing in AgricultureEnvironmental Science참고 문헌 46인용 수 17

한 줄 요약

DeepMask는 광학 위성 영상에서 픽셀 수준의 세분화를 위한 잔차 신경망(ResNet)을 기반으로 한 딥러닝 기반 클라우드 및 클라우드 그림자 검출 알고리즘입니다. 다양한 지형 유형에서 93.56%의 정확도를 달성하며, CFMask(85.36%)를 크게 능가합니다. 열화상 대역이 없는 다양한 위성 플랫폼에 넓이 있게 적용 가능하도록, 단지 네 개의 스펙트럼 대역으로도 높은 성능을 유지합니다.

ABSTRACT

Detecting and masking cloud and cloud shadow from satellite remote sensing images is a pervasive problem in the remote sensing community. Accurate and efficient detection of cloud and cloud shadow is an essential step to harness the value of remotely sensed data for almost all downstream analysis. DeepMask, a new algorithm for cloud and cloud shadow detection in optical satellite remote sensing imagery, is proposed in this study. DeepMask utilizes ResNet, a deep convolutional neural network, for pixel-level cloud mask generation. The algorithm is trained and evaluated on the Landsat 8 Cloud Cover Assessment Validation Dataset distributed across 8 different land types. Compared with CFMask, the most widely used cloud detection algorithm, land-type-specific DeepMask models achieve higher accuracy across all land types. The average accuracy is 93.56%, compared with 85.36% from CFMask. DeepMask also achieves 91.02% accuracy on all-land-type dataset. Compared with other CNN-based cloud mask algorithms, DeepMask benefits from the parsimonious architecture and the residual connection of ResNet. It is compatible with input of any size and shape. DeepMask still maintains high performance when using only red, green, blue, and NIR bands, indicating its potential to be applied to other satellite platforms that only have limited optical bands.

연구 동기 및 목표

• 광학 위성 원격 감지 영상에서 고정확도의 자동 클라우드 및 클라우드 그림자 검출 알고리즘 개발.
• 밝은 표면과 광학적으로 얇은 구름에서 어려움을 겪는 임계값 기반 및 전통적 기계학습 방법의 한계를 극복.
• 딥 컨volution 신경망을 활용해 공간적, 문맥적, 스펙트럼적 특징을 포착하여 검출 성능 향상.
• 다양한 위성 플랫폼, 특히 제한된 스펙트럼 대역을 갖는 플랫폼과도 호환되는 유연하고 효율적이며 확장 가능한 알고리즘 구축.
• 고정밀도와 다양한 지형 유형에 대한 일반화 능력을 유지하면서 사전/사후 처리 단계에 대한 의존도를 줄임.

제안 방법

• 알고리즘은 클라우드 및 클라우드 그림자에 대한 엔드 투 엔드 픽셀 수준 분류를 위한 배경으로 깊이 있는 잔차 신경망(ResNet)을 사용합니다.
• 각 중심 픽셀 주변의 15×15 픽셀 국소 영역을 처리하여 공간적 및 문맥적 정보를 확보합니다.
• 모델은 8개의 서로 다른 지형 유형을 포함하는 Landsat 8 클라우드 커버 평가(CCA) 검증 데이터셋을 사용해 훈련됩니다.
• 입력 영상의 크기와 형태는 임의로 설정 가능하여 다양한 위성 데이터 형식에 대한 탄력적 배포를 가능하게 합니다.
• 알고리즘은 열화상 대역이나 고정 크기의 입력이 필요로 하지 않아, 다양한 광학 센서와의 호환성을 향상시킵니다.
• 정확도와 재현율의 균형을 맞추기 위해 신뢰도 임계값을 조정하여 사용자 정의된 트레이드오프를 허용합니다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근 방식이 CFMask와 같은 전통적인 임계값 기반 클라우드 검출 방법보다 정확도와 견고성 면에서 뛰어나게 성능을 낼 수 있는가?
• RQ2 지형 유형에 특화되지 않은 튜닝 없이 ResNet 기반 모델이 다양한 지형 유형에 대해 얼마나 잘 일반화되는가?
• RQ3 단지 네 개의 스펙트럼 대역(RGB 및 NIR)만을 사용할 경우 알고리즘이 얼마나 잘 작동하는가? 그리고 열화상 대역이 없는 위성에도 적용 가능한가?
• RQ4 초기 처리 또는 후속 처리 단계(예: 슈퍼픽셀 분할 또는 형태학적 필터링) 없이도 높은 성능을 유지할 수 있는가?
• RQ5 기존 알고리즘이 혼동하기 쉬운 도전적인 케이스, 예를 들어 눈/ices, 밝은 표면, 광학적으로 얇은 구름에 대해 모델은 어떻게 대처하는가?

주요 결과

• 지형 유형별로 튜닝된 DeepMask 모델은 8개의 지형 유형 전반에서 평균 93.56%의 정확도를 달성하며, CFMask의 85.36%를 크게 뛰어넘습니다.
• 모든 지형 유형을 통합한 DeepMask 모델은 91.02%의 정확도를 기록하며, 여전히 CFMask의 성능을 크게 초월합니다.
• DeepMask는 빨간색, 초록색, 파란색 및 NIR의 네 개 스펙트럼 대역으로만 훈련된 경우에도 높은 정확도를 유지하여, 열화상 대역이 없는 플랫폼에서도 큰 잠재력을 보입니다.
• 스펙트럼 대역이 제거될 경우에도 성능 저하가 최소한이 되어 입력 변동성에 대한 강건성을 입증합니다.
• CFMask가 자주 실패하는 눈/ices 및 기타 밝은 표면과의 클라우드 및 그림자 간의 구분을 DeepMask가 성공적으로 수행합니다.
• 모델의 국소 영역 기반 추론 메커니즘은 고정 크기의 입력이나 복잡한 사전/사후 처리 파이프라인 없이도 높은 정확도를 유지할 수 있게 합니다.