[논문 리뷰] An End-to-End Two-Phase Deep Learning-Based workflow to Segment Man-made Objects Around Reservoirs

Nayereh Hamidishad, Roberto Marcondes Cesar Junior|arXiv (Cornell University)|2023. 02. 07.

Flood Risk Assessment and Management인용 수 4

한 줄 요약

이 논문은 구글 어스 영상 자료를 사용하여 저류지 주변의 인공 구조물을 세분화하기 위한 엔드 투 엔드 두 단계 딥 러닝 워크플로우를 제안한다. 먼저, U-Net 또는 SegNet 모델이 저류지를 세분화하고, 부유 식생을 제거하기 위해 후처리를 수행한다. 그 후 저류지 주변의 관심 영역(ROI)을 식별하고, U-Net, FPN, LinkNet 또는 PSPNet를 사용하여 인공 구조물을 세분화하며, 1단계에서는 F1 스코어 96.53%, 2단계에서는 F1 스코어 90.32%를 달성한다.

ABSTRACT

Reservoirs are fundamental infrastructures for the management of water resources. Constructions around them can negatively impact their quality. Such unauthorized constructions can be monitored by land cover mapping (LCM) remote sensing (RS) images. In this paper, we develop a new approach based on DL and image processing techniques for man-made object segmentation around the reservoirs. In order to segment man-made objects around the reservoirs in an end-to-end procedure, segmenting reservoirs and identifying the region of interest (RoI) around them are essential. In the proposed two-phase workflow, the reservoir is initially segmented using a DL model. A post-processing stage is proposed to remove errors such as floating vegetation. Next, the RoI around the reservoir (RoIaR) is identified using the proposed image processing techniques. Finally, the man-made objects in the RoIaR are segmented using a DL architecture. We trained the proposed workflow using collected Google Earth (GE) images of eight reservoirs in Brazil over two different years. The U-Net-based and SegNet-based architectures are trained to segment the reservoirs. To segment man-made objects in the RoIaR, we trained and evaluated four possible architectures, U-Net, FPN, LinkNet, and PSPNet. Although the collected data has a high diversity (for example, they belong to different states, seasons, resolutions, etc.), we achieved good performances in both phases. Furthermore, applying the proposed post-processing to the output of reservoir segmentation improves the precision in all studied reservoirs except two cases. We validated the prepared workflow with a reservoir dataset outside the training reservoirs. The results show high generalization ability of the prepared workflow.

연구 동기 및 목표

• 원격 감지 영상 자료를 활용하여 저류지 주변의 인공 구조물을 세분화하기 위한 엔드 투 엔드 딥 러닝 워크플로우를 개발하는 것.
• 고해상도 위성 영상 자료를 활용한 자동화된 지형 커버 매핑을 통해 저류지 근처의 무단 건축물을 탐지하는 과제를 해결하는 것.
• 후처리 및 관심 영역(RoIaR) 국소화를 통한 두 단계 접근 방식을 도입하여 세분화 정확도를 향상시키는 것.
• 학습 데이터에 포함되지 않은 새로운 저류지에 대한 모델의 일반화 능력을 검증하여 다양한 지리적 및 계절적 조건에서도 안정성을 확보하는 것.

제안 방법

• 고해상도 구글 어스 영상에서 저류지의 초기 의미적 세분화를 위해 U-Net 및 SegNet 아키텍처를 사용한다.
• 형태학적 연산과 스펙트럼 필터링을 활용하여 부유 식생과 같은 오분류를 제거하기 위해 후처리 단계를 적용한다.
• 팽창 및 윤곽 검출과 같은 영상 처리 기법을 사용하여 저류지 주변의 관심 영역(RoIaR)을 정의한다.
• RoIaR 내에서 인공 구조물 세분화를 위해 U-Net, FPN, LinkNet 및 PSPNet의 네 가지 딥 러닝 아키텍처를 훈련 및 평가한다.
• 클래스 불균형 문제를 해결하기 위해 오버샘플링을 적용하고, Dice 손실 함수와 Focal 손실 함수의 조합을 사용하여 훈련을 최적화한다.
• 학습 및 외부 검증 데이터셋(학습 세트에 포함되지 않은 저류지 포함)에서 F1 스코어를 사용하여 모델 성능을 평가한다.

Figure 1: Overview of the proposed analysis workflow.

실험 결과

연구 질문

• RQ1 다양한 지리적 및 계절적 조건에서 두 단계 딥 러닝 워크플로우가 저류지 주변의 인공 구조물 세분화에 고정확도를 달성할 수 있는가?
• RQ2 후처리 기법이 부유 식생과 같은 잘못된 양성 결과를 제거함으로써 저류지 세분화 정밀도 향상에 얼마나 효과적인가?
• RQ3 전체 영상 세분화 대비 관심 영역(RoIaR) 국소화가 인공 구조물 세분화 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 손실 함수 및 데이터 증강 전략이 불균형한 농촌 인공 구조물 데이터셋에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 워크플로우가 공간 해상도, 대기 조건, 지형 커버 유형이 다른 새로운 저류지에 대해 잘 일반화되는가?

주요 결과

• 1단계 저류지 세분화에서 테스트 세트에서 최고 F1 스코어 96.53%를 기록하여 수체 영역을 고정확도로 식별함을 입증했다.
• 후처리 적용으로 모든 저류지에서 정밀도가 향상되었으며, 외부 검증 세트에서 F1 스코어가 94.68%로 상승했다.
• 2단계 인공 구조물 세분화에서 VGG-16 백본을 사용한 PSPNet 아키텍처가 최고 F1 스코어 90.32%를 기록했다.
• Dice 손실 함수와 Focal 손실 함수의 조합이 불균형 데이터에서 성능을 크게 향상시켰으며, Focal 손실 함수만 사용하는 것보다 우수했다.
• 오버샘플링 기법이 희귀한 농촌 인공 구조물 클래스에 대해 특히 세분화 성능을 향상시켰다.
• 새로운 저류지(Barra)에 대한 워크플로우의 일반화 능력이 뛰어나 1단계에서 F1 스코어 92.54%, 2단계에서 88.11%를 기록하여 안정성과 이식 가능성 확인.

Figure 2: Visualization of the studied reservoirs locations.