[논문 리뷰] Cloud-Net+: A Cloud Segmentation CNN for Landsat 8 Remote Sensing Imagery Optimized with Filtered Jaccard Loss Function

Sorour Mohajerani, Parvaneh Saeedi|arXiv (Cornell University)|2020. 01. 23.

Advanced Image Fusion Techniques참고 문헌 25인용 수 17

한 줄 요약

이 논문은 랜드세트 8 위성 영상에서 정확한 구름 세분화를 위한 새로운 필터링된 재경합 손실 함수를 갖춘 딥 컨volution 신경망인 Cloud-Net+을 제안한다. 이 방법은 눈과 hazes와 같은 도전적인 조건에서도 검출 성능을 향상시켜 네 개의 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 누락된 구름 픽셀에 대한 민감도를 높이고 마스크 예측 정확도를 향상시킴으로써 달성된다.

ABSTRACT

Cloud Segmentation is one of the fundamental steps in optical remote sensing image analysis. Current methods for identification of cloud regions in aerial or satellite images are not accurate enough especially in the presence of snow and haze. This paper presents a deep learning-based framework to address the problem of cloud detection in Landsat 8 imagery. The proposed method benefits from a convolutional neural network (Cloud-Net+) with multiple blocks, which is trained with a novel loss function (Filtered Jaccard loss). The proposed loss function is more sensitive to the absence of cloud pixels in an image and penalizes/rewards the predicted mask more accurately. The combination of Cloud-Net+ and Filtered Jaccard loss function delivers superior results over four public cloud detection datasets. Our experiments on one of the most common public datasets in computer vision (Pascal VOC dataset) show that the proposed network/loss function could be used in other segmentation tasks for more accurate performance/evaluation.

연구 동기 및 목표

• 복잡한 대기 및 지표면 조건(예: 눈과 안개)에서 발생하는 광학 원격 감지에서의 정확한 구름 검출 문제를 해결하기 위해.
• 구름 픽셀의 유무에 따라 예측에 대해 더 잘 처벌하거나 보상하는 손실 함수를 설계하여 세분화 정확도를 향상시키기 위해.
• 구름 세분화뿐만 아니라 일반적인 의미 세분화 작업에도 잘 작동하는 강건하고 이식 가능한 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 제안된 프레임워크는 랜드세트 8 영상의 다중 척도 공간 특징을 포착하기 위해 다수의 잔차 블록을 갖춘 U-Net 유사 인코더-디코더 아키텍처를 사용한다.
• 손실 계산 중 배경 영역을 제거함으로써 희귀하거나 누락된 구름 픽셀에 대한 민감도를 향상시키기 위해 새로운 손실 함수인 필터링된 재경합 손실을 도입한다.
• 손실 함수는 예측 마스크와 진짜 마스크 간의 교차율(IoU)을 계산하지만, 실제 구름 존재 영역에 집중하기 위해 동적 필터링 메커니즘을 적용한다.
• 모델은 무작위 경사 하강법를 사용하여 엔드 투 엔드로 훈련되며, 가중치 감쇠를 적용하여 필터링된 재경합 손실을 최적화함으로써 마스크 정밀도와 재현율을 향상시킨다.
• 다운샘플링 과정에서 손실된 공간 세부 정보를 유지하기 위해 스킵 연결을 통합함으로써 구름 영역의 경계 국소화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 수정된 손실 함수는 랜드세트 8 영상에서 희박하거나 저대비의 구름 영역 검출에 향상된 성능을 제공할 수 있는가?
• RQ2 표준 교차 엔트로피 손실 및 IoU 기반 손실과 비교할 때 필터링된 재경합 손실 함수는 세분화 정확도와 견고성 측면에서 어떻게 성능을 내는가?
• RQ3 Cloud-Net+ 프레임워크는 구름 검출을 넘어서 다른 의미 세분화 작업으로 일반화될 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 Cloud-Net+는 필터링된 재경합 손실을 사용하여 네 개의 공개 구름 검출 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 뛰어난 세분화 정확도를 입증하였다.
• 필터링된 재경합 손실은 모델의 누락된 구름 픽셀에 대한 민감도를 크게 향상시켜 눈과 안개가 있는 복잡한 장면에서 거짓 음성 결과를 감소시켰다.
• Pascal VOC 데이터셋에서의 실험을 통해 이 프레임워크가 다른 의미 세분화 작업으로도 잘 일반화됨을 확인하였으며, 광범위한 적용 가능성을 시사한다.
• 기본 모델인 표준 교차 엔트로피 및 IoU 기반 손실을 사용한 모델들과 비교하여, 특히 작은 또는 분할된 구름 영역을 검출하는 데서 뛰어난 성능을 보였다.