[논문 리뷰] Cloud Detection Algorithm for Remote Sensing Images Using Fully Convolutional Neural Networks

Sorour Mohajerani, Thomas A. Krammer외 1명|arXiv (Cornell University)|2018. 10. 12.

Remote Sensing in Agriculture인용 수 5

한 줄 요약

이 논문은 오직 네 가지 스펙트럼 밴드(RGBNir)를 사용하여 원격 감지 영상에 대한 완전 컨volution 신경망(FCN) 기반의 구름 검출 방법을 제안한다. 이는 잘못된 지표를 수정하기 위해 기울기 기반 눈/ice 제거 기법으로 보완된다. 이 방법은 기본 딥러닝 모델에 비해 Jaccard 지수와 재현율을 각각 4.36%, 3.62% 향상시킨다.

ABSTRACT

This paper presents a deep-learning based framework for addressing the problem of accurate cloud detection in remote sensing images. This framework benefits from a Fully Convolutional Neural Network (FCN), which is capable of pixel-level labeling of cloud regions in a Landsat 8 image. Also, a gradient-based identification approach is proposed to identify and exclude regions of snow/ice in the ground truths of the training set. We show that using the hybrid of the two methods (threshold-based and deep-learning) improves the performance of the cloud identification process without the need to manually correct automatically generated ground truths. In average the Jaccard index and recall measure are improved by 4.36% and 3.62%, respectively.

연구 동기 및 목표

• 눈과 얼음이 구름으로 잘못 분류되어 발생하는 원격 감지 영상에서의 정확한 구름 검출 문제를 해결하기 위해.
• 제한된 스펙트럼 데이터를 가진 위성에 더 넓은 적용 가능성을 제공하기 위해 오직 네 가지 스펙트럼 밴드(RGBNir)만을 사용하여 픽셀 수준의 구름 세그멘테이션을 수행할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 자동으로 눈/ice 영역을 식별하고 제거하여 기본 지표를 보정함으로써 구름 검출 성능을 향상시키기 위해.
• 원격 감지 영상에서의 구름 검출을 위한 공개 가능한 정확한 애너테이션 데이터셋을 만들기 위해.
• 눈과 구름이 혼합된 복잡한 환경에서 하이브리드 임계값 처리와 딥러닝이 순수한 딥러닝 또는 임계값 처리 방법보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• Landsat 8 영상에서 잘라낸 $384 \times 384$ 패치를 사용하여, RGBNir 밴드를 입력으로 사용하는 U-Net 유사 완전 컨volution 신경망(FCN)을 훈련한다.
• 에코더와 디코더 블록 간의 스킵 연결을 통해 공간적 세부 정보를 유지하고 세그멘테이션 정확도를 향상시킨다.
• 훈련 전에 기본 지표에서 눈/ice 영역을 식별하고 제외하기 위해 기울기 기반 임계값 처리 방법을 적용한다.
• 초기 학습률이 $10^{-4}$인 600 에포크 동안 훈련하며, 이진 교차 엔트로피 손실과 Adam 최적화를 사용한다.
• 추론 과정에서는 테스트 영상을 겹치지 않는 $384 \times 384$ 패치로 나누고, $192 \times 192$로 리사이징한 후 네트워크를 통과시키며, 다시 조합하여 전체 해상도의 구름 확률 맵을 만든다.
• 최종적으로 임계값 처리 단계를 통해 확률 맵을 이진 구름 마스크로 변환한다.

실험 결과

연구 질문

• RQ1 오직 제한된 스펙트럼 밴드(RGBNir)로 훈련된 완전 컨볼루션 신경망이 원격 감지 영상에서 정확한 픽셀 수준의 구름 검출을 달성할 수 있는가?
• RQ2 기본 지표에서 눈/ice 영역을 제거하여 보정함으로써 딥러닝 기반의 구름 검출 모델 성능에 어떤 영향을 미치는가?
• RQ3 임계값 기반 눈/ice 검출과 딥러닝을 결합할 경우, 보정되지 않은 지표에 비해 Jaccard 지수와 재현율에 얼마나 큰 향상이 이루어지는가?
• RQ4 제안된 방법은 오직 네 가지 스펙트럼 밴드만을 가진 위성 및 항공기 시스템으로 일반화될 수 있는가?
• RQ5 FCN 아키텍처를 통해 글로벌 및 로컬 컨텍스트를 통합함으로써, 구름과 눈/ice가 혼합된 환경에서의 구름 검출 정확도가 얼마나 향상되는가?

주요 결과

• 눈/ice 보정된 지표를 사용할 경우, 보정되지 않은 지표에 비해 Jaccard 지수가 4.36% 향상된다.
• 보정된 지표를 사용할 경우 재현율이 3.62% 향상되어 진짜 구름 픽셀을 더 잘 탐지함을 시사한다.
• 정밀도는 1.30% 향상되어 눈/ice 보정 이후 거짓 양성 수가 감소함을 보여준다.
• 전반적인 정확도는 보정된 훈련 데이터를 사용할 경우 0.56% 향상된다.
• 그림 3의 시각적 결과는 이 방법이 눈과 얼음 지역에서의 거짓 양성 수를 효과적으로 줄임을 확인한다.
• 연구에서 사용된 데이터셋은 수동으로 보정된 지표를 포함하고 있으며, 요청 시 공개 가능하다.