[논문 리뷰] Comprehensive Semantic Segmentation on High Resolution UAV Imagery for Natural Disaster Damage Assessment

Maryam Rahnemoonfar, Tashnim Chowdhury외 2명|arXiv (Cornell University)|2020. 09. 02.

Advanced Neural Network Applications참고 문헌 47인용 수 5

한 줄 요약

이 논문은 히루이캔 미카엘 후에 촬영된 2,000장의 고해상도 UAV 영상으로 구성된 대규모 고해상도 UAV 데이터셋 HRUD를 소개하며, 상태기반 세분화 모델—DeepLabv3+, PSPNet, ENet—을 활용해 종합적인 손상 분류를 평가한다. PSPNet은 피라미드 풀링을 통한 전역적 맥락 모델링 덕분에 전체 9개 클래스 세분화 작업에서 평균 IoU 99.81로 가장 뛰어난 성능을 기록한다.

ABSTRACT

In this paper, we present a large-scale hurricane Michael dataset for visual perception in disaster scenarios, and analyze state-of-the-art deep neural network models for semantic segmentation. The dataset consists of around 2000 high-resolution aerial images, with annotated ground-truth data for semantic segmentation. We discuss the challenges of the dataset and train the state-of-the-art methods on this dataset to evaluate how well these methods can recognize the disaster situations. Finally, we discuss challenges for future research.

연구 동기 및 목표

• 자연재해 손상 평가를 위한 대규모 고해상도 UAV 데이터셋의 부족을 해결하기 위해.
• 상태기반 딥러닝 모델이 재해 현장의 종합적 세분화에 어떻게 작용하는지 평가하기 위해.
• 잔해, 모래, 전파된 건물과 같이 유사한 질감을 가진 클래스를 세분화하는 데 발생하는 과제를 규명하기 위해.
• 향후 자동 재해 손상 평가 연구를 위한 기준 데이터셋(HRUD)을 제공하기 위해.

제안 방법

• 허리케인 마이클 이후 촬영된 2,000장의 고해상도(3000×4000) UAV 항공 영상 수집.
• 9개 클래스(건물(하위클래스 포함), 도로, 잔해, 물, 수영장, 나무, 모래, 차량)로 구성된 세밀한 세분화 데이터셋 구축.
• 세분화를 위한 최신 딥러닝 모델 3종 적용: DeepLabv3+, PSPNet, ENet.
• 다중 척도 맥락 모델링을 위한 피라미드 풀링(PSPNet), 아트로스 컨볼루션(DeepLabv3+), 인코더-디코더 아키텍처(ENet) 활용.
• 데이터 증강 및 학습률 스케줄링을 통한 교차 엔트로피 손실 기반 학습 및 평가.
• 다양한 실험 설정(2개 클래스, 4개 클래스, 9개 클래스 세분화)에서 평균 교차율(Intersection over Union, mIoU)을 통한 평가.

실험 결과

연구 질문

• RQ1 최신 세분화 모델들은 자연재해 손상 평가를 위한 고해상도 대규모 UAV 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 재해 후 현장에서 잔해, 모래, 전파된 건물과 같이 유사한 질감을 가진 클래스를 세분화하는 데 발생하는 핵심 과제는 무엇인가?
• RQ3 왜 모델들은 항공 사진에서 중간 손상 건물과 중대 손상 건물 간을 구분하는 데 어려움을 겪는가?
• RQ4 전역적 맥락 모델링(예: 피라미드 풀링)을 사용할 경우, 복잡한 재해 현장에서 세분화 성능이 어떻게 향상되는가?
• RQ5 클래스 불균형과 낮은 인스턴스 수를 가진 클래스(예: 수영장, 차량)는 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• PSPNet은 9개 클래스 세분화 작업에서 평균 IoU 99.81로 가장 높은 성능 기록하며, DeepLabv3+와 ENet를 능가한다.
• 모든 모델이 잔해, 차량, 수영장, 건물-전체파괴 클래스에서 가장 낮은 성능을 보이며, IoU 값이 0.5 이하였다.
• 중간 손상과 중대 손상 건물 간 구분 어려움은 모든 모델에서 일관되게 나타났으며, 위성 사진에서의 시각적 단서 부족이 원인이다.
• ENet는 정량적 성능가장 낮았지만, 정성적 결과는 만족스러웠으며, 아키텍처적 제약에도 불구하고 강건함을 보였다.
• DeepLabv3+와 PSPNet의 성능은 기본 학습률에 매우 민감하여, 철저한 하이퍼파rameter 튜닝이 필요함을 시사한다.
• PSPNet의 전역 피라미드 풀링 모듈은 아트로스 컨볼루션과 인코더-디코더 아키텍처에 비해 복잡한 질감과 작은 유사한 외관의 물체에 대해 뛰어난 맥락 모델링을 제공하였다.