[논문 리뷰] Post-Hurricane Damage Assessment Using Satellite Imagery and Geolocation Features

Quoc Dung Cao, Youngjun Choe|arXiv (Cornell University)|2020. 12. 15.

Tropical and Extratropical Cyclones Research인용 수 6

한 줄 요약

이 논문은 고해상도 위성 영상과 고도, 수체 근접도와 같은 지리적 위치 특징을 결합하여 허리케인 후 건물 피해 평가를 향상시키는 혼합 데이터 딥러닝 접근법을 제안한다. 지리적 위치 특징을 통해 물리적 도메인 지식을 통합함으로써 모델은 97.47%의 정확도를 달성하여 영상만을 사용하는 모델보다 유의하게 뛰어나며, 피해 건물의 재현율을 높이고 철저한 초모수 조정에 대한 의존도를 줄였다.

ABSTRACT

Gaining timely and reliable situation awareness after hazard events such as a hurricane is crucial to emergency managers and first responders. One effective way to achieve that goal is through damage assessment. Recently, disaster researchers have been utilizing imagery captured through satellites or drones to quantify the number of flooded/damaged buildings. In this paper, we propose a mixed data approach, which leverages publicly available satellite imagery and geolocation features of the affected area to identify damaged buildings after a hurricane. The method demonstrated significant improvement from performing a similar task using only imagery features, based on a case study of Hurricane Harvey affecting Greater Houston area in 2017. This result opens door to a wide range of possibilities to unify the advancement in computer vision algorithms such as convolutional neural networks and traditional methods in damage assessment, for example, using flood depth or bare-earth topology. In this work, a creative choice of the geolocation features was made to provide extra information to the imagery features, but it is up to the users to decide which other features can be included to model the physical behavior of the events, depending on their domain knowledge and the type of disaster. The dataset curated in this work is made openly available (DOI: 10.17603/ds2-3cca-f398).

연구 동기 및 목표

• 위성 영상과 지리적 위치 특징을 통합하여 모델의 정확도와 일반화 능력을 향상시켜 허리케인 후 건물 피해 평가를 개선한다.
• 재해 위험 패턴을 반영하는 물리적으로 의미 있는 지리적 위치 특징을 통합하여 대규모 고품질 레이블 데이터셋에 대한 의존도를 줄인다.
• 허리케인 후 영상에서 손상되지 않은 건물 레이블을 수집하여 더 현실적이고 일반화 가능한 데이터셋을 만들며, 모델의 구현 가능성을 향상시킨다.
• 지리적 위치 특징이 모델 성능 향상에 기여함을 입증하고, 특히 피해 건물의 재현율 향상과 초모수 조정의 필요성을 줄일 수 있음을 보여준다.
• 절대적 지리공간 특징이 아닌 상대적 지리공간 특징을 사용함으로써 모델이 다른 지역과 재해 유형으로의 이식 가능성을 확보한다.

제안 방법

• 모델은 고해상도 RGB 위성 영상에서 특징을 추출하기 위해 컨volutional 신경망(CNN) 아키텍처를 사용한다.
• 홍수 및 스톰서지와 관련된 물리적 위험 요소를 반영하기 위해 상대적 고도와 수체 근접도를 포함한 지리적 위치 특징을 설계한다.
• 영상 특징과 지리적 위치 특징을 결합하여 최종적으로 건물 피해 상태를 분류하기 위해 완전히 연결된 신경망에 입력한다.
• 강건한 성능 평가를 보장하기 위해 오차 없는 클래스 분포를 유지하면서 5개의 폴드로 나누어 교차검증 전략을 적용한다.
• 데이터셋은 67% 훈련, 33% 테스트로 분할되며, 정확도, F1 점수, 정밀도, 재현율과 같은 표준 지표를 사용해 성능을 평가한다.
• 분류에 50%의 확률 임계값을 사용하며, 운영 환경에서 재현율을 우선시하기 위해 조정이 가능하다.

Figure 1: Workflow of the mixed data neural network model.

실험 결과

연구 질문

• RQ1 위성 영상과 지리적 위치 특징을 통합하면 허리케인 후 건물 피해 평가의 정확도와 강건성 향상에 기여하는가?
• RQ2 고도와 수체 근접도와 같은 지리적 위치 특징은 영상만을 사용할 때보다 피해 건물을 식별하는 데 어떤 기여를 하는가?
• RQ3 지리적 위치 특징은 특히 클래스 불균형 상황에서 피해 건물의 재현율 향상에 어느 정도 영향을 미치는가?
• RQ4 상대적 지리공간 특징을 사용함으로써 한 지역에서 훈련된 모델이 재훈련 없이 다른 지역으로 일반화 가능한가?
• RQ5 혼합 데이터 접근법은 피해 평가 모델에서 철저한 초모수 조정의 필요성을 어느 정도 줄이는가?

주요 결과

• 영상과 지리적 위치 특징을 통합한 혼합 데이터 모델은 97.47%의 정확도를 달성하여 영상 전용 모델(79.5%)과 지리적 위치 전용 모델(88.6%)보다 뚜렷이 뛰어났다.
• 지리적 위치 전용 모델는 97%의 재현율을 기록하여 피해 건물을 탐지하는 데 강력한 능력을 보였고, 영상 전용 모델의 재현율은 64%에 그쳤다.
• 통합 모델는 정밀도 91%와 재현율 99%를 기록하여 F1 점수 0.94를 확보해 정밀도와 재현율 사이의 균형 잡힌 성능을 보였다.
• 지리적 위치 특징은 재현율 향상에 더 기여하는 반면, 영상 특징은 정밀도 향상에 더 기여함으로써 상호보완적인 강점을 드러냈다.
• 모델의 성능은 5개의 교차검증 세트에서 안정적이었으며, 정확도의 표준편차가 낮아(예: 2.5%) 강건성을 입증했다.
• 상대적 지리공간 특징(예: 상대적 고도)의 사용은 최소한의 재훈련으로 다른 지역에 모델을 구현할 수 있는 잠재력을 제공하며, 특히 임계값 조정을 통해 가능성이 높다.

(a) ‘Undamaged Building’ using pre-event imagery