[논문 리뷰] An Urban Water Extraction Method Combining Deep Learning and Google Earth Engine

Y. D. Wang, Zhiwei Li외 3명|arXiv (Cornell University)|2019. 12. 23.

Flood Risk Assessment and Management참고 문헌 52인용 수 6

한 줄 요약

이 논문은 랜드세트 위성 영상에서 도시 내 수역을 추출하기 위해 다중 척도 합성곱 신경망(MSCNN)과 Google Earth Engine(GEE)을 통합한 오프라인 훈련 및 온라인 예측(OTOP) 프레임워크를 제안한다. MSCNN를 오프라인으로 훈련하고 GEE에 배포하여 실시간 추론을 수행함으로써, 평균 F1 스코어 0.930과 IoU 0.869의 높은 정확도를 달성하였으며, 여러 중국 도시에서 MNDWI 및 랜덤 포레스트 모델을 초월하는 성능을 보였다.

ABSTRACT

Urban water is important for the urban ecosystem. Accurate and efficient detection of urban water with remote sensing data is of great significance for urban management and planning. In this paper, we proposed a new method to combine Google Earth Engine (GEE) with multiscale convolutional neural network (MSCNN) to extract urban water from Landsat images, which is summarized as offline training and online prediction (OTOP). That is, the training of MSCNN was completed offline, and the process of urban water extraction was implemented on GEE with the trained parameters of MSCNN. The OTOP can give full play to the respective advantages of GEE and CNN, and make the use of deep learning method on GEE more flexible. It can process available satellite images with high performance without data download and storage, and the overall performance of urban water extraction is also higher than that of the modified normalized difference water index (MNDWI) and random forest. The mean kappa, F1-score and intersection over union (IoU) of urban water extraction with the OTOP in Changchun, Wuhan, Kunming and Guangzhou reached 0.924, 0.930 and 0.869, respectively. The results of the extended validation in the other major cities of China also show that the OTOP is robust and can be used to extract different types of urban water, which benefits from the structural design and training of the MSCNN. Therefore, the OTOP is especially suitable for the study of large-scale and long-term urban water change detection in the background of urbanization.

연구 동기 및 목표

• 빠르게 도시화가 진행되는 지역에서 원격 감지 기반 정확하고 확장 가능한 도시 내 수역 탐지 문제를 해결한다.
• 복잡한 도시 내 수역 특징을 다루는 데에 한계가 있는 전통적 지표인 MNDWI와 랜덤 포레스트 등의 기계학습 모델의 한계를 극복한다.
• 현지 데이터 저장소나 계산 자원의 부담 없이 효율적이고 대규모이며 장기적인 도시 내 수역 변화 탐지 기능을 제공한다.
• 딥러닝의 강점과 클라우드 기반 지리공간 플랫폼의 장점을 활용하여 추출 정확도와 운영 유연성을 향상시킨다.

제안 방법

• 랜드세트 위성 영상에서 레이블이 부여된 도시 내 수역 샘플을 사용하여 오프라인으로 다중 척도 합성곱 신경망(MSCNN)을 훈련한다.
• 훈련된 MSCNN 모델을 Google Earth Engine(GEE) 내부에 배치하여 클라우드에 저장된 위성 데이터를 대상으로 온라인 추론을 수행한다.
• GEE의 병렬 처리 기능과 글로벌 데이터 접근성을 활용하여 대규모 데이터셋을 다운로드하거나 저장하지 않고도 실시간 수역 추출을 수행한다.
• 다양한 도시의 랜드세트 영상에 훈련된 MSCNN를 적용하여 픽셀 수준의 분류를 통해 도시 내 수역을 식별한다.
• 이중 단계 파이프라인을 구현한다: 지역 자원을 사용한 오프라인 모델 훈련과 GEE의 계산 인프라를 활용한 온라인 예측.
• 복잡한 도시 표면(불透수 표면 및 그림자 등)과 수역을 구분하는 데 핵심적인 다중 척도 공간 특징을 포착할 수 있도록 MSCNN 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 오프라인으로 훈련된 딥러닝 모델이 Google Earth Engine에 효과적으로 배치되어 실시간 도시 내 수역 추출이 가능한가?
• RQ2 제안된 OTOP 방법의 성능은 MNDWI와 같은 전통적 지표 및 랜덤 포레스트와 같은 앙상블 모델에 비해 도시 내 수역 탐지에서 어떻게 비교되는가?
• RQ3 다양한 수역 유형과 지형 조건을 가진 다양한 도시 환경에서 OTOP 프레임워크의 강건성은 어느 정도인가?
• RQ4 이 방법은 현지 데이터 저장소나 고성능 컴퓨팅 자원 없이 대규모 및 장기적인 도시 내 수역 변화 모니터링을 지원할 수 있는가?

주요 결과

• OTOP 방법은 창춘, 무한, 쿤밍, 광저우 등 중국의 주요 4개 도시에서 도시 내 수역 추출 시 평균 F1 스코어 0.930과 교차율(IoU) 0.869를 달성하였다.
• 평균 캄파 계수는 0.924에 도달하여 예측된 수역 마스크와 기준 마스크 간의 강한 일치를 나타내었다.
• 전반적인 정확도와 강건성 측면에서 수정된 정규화된 차이 수역 지수(MNDWI) 및 랜덤 포레스트 모델보다 성능이 뛰어났다.
• 기타 주요 중국 도시에 대한 확장 검증을 통해 방법의 일반화 능력과 다양한 도시 내 수역 유형 및 환경 조건에 대한 강건성을 확인하였다.
• MSCNN와 GEE의 통합을 통해 데이터 다운로드 또는 현지 저장 없이 고성능 추론를 구현할 수 있었으며, 계산 장벽을 크게 감소시켰다.
• MSCNN의 구조적 설계와 함께 오프라인 훈련을 통해 다양한 공간 척도에서 효과적인 특징 학습이 가능해져, 복잡한 도시 내 수역의 탐지 능력이 향상되었다.