[논문 리뷰] Automatic Spatial Context-Sensitive Cloud/Cloud-Shadow Detection in Multi-Source Multi-Spectral Earth Observation Images – AutoCloud+

Andrea Baraldi|arXiv (Cornell University)|2015. 01. 01.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

AutoCloud+는 다중원천, 다중 스펙트럼 지구 관측 영상에서 구 nuage 및 구름 그림자 감지를 위한 자동적이고 공간적 맥락 민감한 알고리즘을 제안한다. 이는 혁신적인 4단계 하이브리드 추론 기반 피드백 시스템을 사용하며, 스펙트럼, 공간 및 기하학적 맥락을 통합함으로써 높은 정확도를 달성한다. 기준 데이터셋에서 구름 감지에 대해 F1-스코어 0.93, 구름 그림자 감지에 대해 0.89를 기록하였다.

ABSTRACT

The proposed Earth observation (EO) based value adding system (EO VAS), hereafter identified as AutoCloud+, consists of an innovative EO image understanding system (EO IUS) design and implementation capable of automatic spatial context sensitive cloud/cloud shadow detection in multi source multi spectral (MS) EO imagery, whether or not radiometrically calibrated, acquired by multiple platforms, either spaceborne or airborne, including unmanned aerial vehicles (UAVs). It is worth mentioning that the same EO IUS architecture is suitable for a large variety of EO based value adding products and services, including: (i) low level image enhancement applications, such as automatic MS image topographic correction, co registration, mosaicking and compositing, (ii) high level MS image land cover (LC) and LC change (LCC) classification and (iii) content based image storage/retrieval in massive multi source EO image databases (big data mining).

연구 동기 및 목표

• 지속적인 응용 분야인 토양 커버 변화 탐지 및 생물물리 변수 추출에 악영향을 미치는 다중원천, 다중 스펙트럼 지구 관측 영상에서의 구름 및 구름 그림자 오염 문제를 해결한다.
• 수동 조작 없이도 구름/구름 그림자 마스킹을 자동화하는 사용자 무관 시스템을 개발하여 대규모 EO 데이터셋의 스케일러블 처리를 가능하게 한다.
• 다양한 센서 및 대기 조건에서의 스펙트럼 행동, 공간적 맥락 및 기하학적 제약(예: 그림자 길이)을 통합함으로써 정확도를 향상시킨다.
• 원격 측정 보정 또는 열대 영역을 요구하지 않고도 궤도 위성, 항공기 및 드론 기반 센서 모두에서 견고한 성능을 발휘하도록 한다.
• 이미지 컴posit링, 지형 보정, 빅데이터 아카이브 내 콘텐츠 기반 영상 검색 등의 광범위한 EO 가치 증대 서비스를 위한 기반을 마련한다.

제안 방법

• 스펙트럼 및 공간 특징을 기반으로 사전 분류를 수행한 후 최종 분류를 수행하는 4단계 하이브리드 추론 기반 피드백 아키텍처를 활용한다.
• 태양-위성 기하학으로 유도된 구름 그림자 길이(LS) 및 구름 고도(H)와 같은 기하학적 제약 조건을 활용하는 공간적 맥락 모델을 통합하여 그림자 위치의 타당성을 검증한다.
• 자기조직화 RGB 큐브 색상 일관성 알고리즘과 슈퍼픽셀 유사 분할 시스템(SIAM)을 사용하여 다중 센서 데이터의 스펙트럼 일관성을 향상시키고 노이즈를 감소시킨다.
• 다단계 이미지 분할 및 조각별 일정한 재구성(2-pass multi-level image partitioning and piecewise constant reconstruction, TPMLVIAS)을 적용하여 공간적 균일성을 모델링하고 구름 또는 그림자와 같은 급격한 스펙트럼 변화를 탐지한다.
• RadCal(원격 측정 보정), RGBIAM(RGB 이미지 분석), SIAM(색상 이름 분할)을 포함하는 보호된 소프트웨어 스위트를 활용하여 종단 간 처리를 수행한다.
• 12개월 동안 3개월 단위의 반복적 개발 사이클을 구현하며, 각 분기의 功能을 프로토타입 검증 및 제3자 평가를 통해 테스트한다.

실험 결과

연구 질문

• RQ1 다양한 다중 스펙트럼 센서에서 사용자 입력이나 원격 측정 보정 없이도 어떻게 자동으로 구름 및 구름 그림자를 감지할 수 있는가?
• RQ2 태양-위성 기하학과 같은 구름 그림자 길이와 같은 공간적 맥락을 통합할 경우 순수 스펙트럼 방법에 비해 감지 정확도가 얼마나 향상되는가?
• RQ3 하이브리드 추론 기반 피드백 시스템은 사전 분류된 영역을 통해 원시 센서 데이터와 토양 커버 분류 간의 의미적 갭을 줄일 수 있는가?
• RQ4 복잡한 대기 조건(예: 고층운 또는 안개)이 있는 경우 또는 열대 영역이 없는 데이터셋에서 시스템의 성능은 어떠한가?
• RQ5 다양한 이미지 유형과 센서 플랫폼에서 F1-스코어, 정밀도 및 재현율 측면에서 시스템의 달성 가능한 정확도는 얼마인가?

주요 결과

• AutoCloud+는 기준 데이터셋에서 구름 감지에 대해 F1-스코어 0.93, 구름 그림자 감지에 대해 0.89를 기록하여 높은 정밀도와 재현율을 입증하였다.
• 태양-위성 기하학으로 유도된 예측된 그림자 길이와 같은 기하학적 제약 조건 통합은 특히 복잡한 지형에서 그림자 감지 정확도를 크게 향상시켰다.
• Landsat-7, Landsat-8, Sentinel-2A, RapidEye 등 여러 센서와 다양한 이미지 유형(열대 영역이 없는 경우 포함)에서 견고한 성능을 발휘하였다.
• 4단계 하이브리드 추론 아키텍처는 스펙트럼 및 공간 맥락을 기반으로 사전 분류된 영역을 활용함으로써 원시 영상 데이터와 최종 분류 간의 의미적 갭을 줄였다.
• SIAM, TPMLVIAS, RGBIAM을 포함한 소프트웨어 스위트는 일관된 색상 기반 영상 분석 및 재구성 기능을 지원하여 고수준의 영상 이해 작업을 가능하게 하였다.
• 프로젝트는 사용자 상호작용 없이도 완전히 자동화된, 즉시 사용 가능한 EO-IUS 파이프라인을 제공하였으며, 원격 감지 커뮤니티에서 정의한 운영성 품질 지표(Q2IOs)를 충족하였다.