[논문 리뷰] Building Damage Detection in Satellite Imagery Using Convolutional Neural Networks

Joseph Z. Xu, Wenhan Lu외 3명|arXiv (Cornell University)|2019. 10. 14.

Remote-Sensing Image Classification참고 문헌 11인용 수 116

한 줄 요약

요약: 본 논문은 재해 이후 위성 영상에서 손상된 건물을 탐지하기 위해 네 가지 CNN 아키텍처를 비교하고, twin-tower subtract (TTS)가 최적이며, 다지역 학습 및 미세조정으로 교차 지역 일반화가 향상된다는 점을 보여준다.

ABSTRACT

In all types of disasters, from earthquakes to armed conflicts, aid workers need accurate and timely data such as damage to buildings and population displacement to mount an effective response. Remote sensing provides this data at an unprecedented scale, but extracting operationalizable information from satellite images is slow and labor-intensive. In this work, we use machine learning to automate the detection of building damage in satellite imagery. We compare the performance of four different convolutional neural network models in detecting damaged buildings in the 2010 Haiti earthquake. We also quantify how well the models will generalize to future disasters by training and testing models on different disaster events.

연구 동기 및 목표

• 자동화되고 확장 가능한 손상 평가를 촉진하여 인도적 대응을 가속화한다.
• 건물 손상에 라벨링된 재해 전후 위성 이미지 크롭 데이터세트를 개발한다.
• 잘못 정렬과 재해 전후 변화에 대한 견고성을 식별하기 위해 여러 CNN 아키텍처를 비교한다.
• 다른 재해 지역과 사건 간에 모델의 일반화 여부를 평가한다.

제안 방법

• 데이터 생성 파이프라인을 사용하여 건물 중심의 재해 전후 이미지 크롭 데이터세트를 생성한다.
• UNOSAT 평가를 사용하여 손상된 건물을 라벨링하고 빌딩 탐지를 통해 음수를 생성한다.
• 네 가지 CNN 아키텍처(CC, PO, TTC, TTS)가 재해 전후 정보를 융합하는 방식에 따라 평가한다.
• 아이티 데이터세트에 대해 5-폴드 교차 검증을 사용하고 주요 지표로 AUC를 사용한다.
• 교차 지역 일반화 실험을 위해 최고 성능 아키텍처(TTS)를 선택한다.

실험 결과

연구 질문

• RQ1 CNN 기반 모델이 재해 전반에 걸쳐 위성 영상에서 손상된 건물을 정확하게 탐지할 수 있는가?
• RQ2 가장 좋은 성능을 내는 입력 융합 전략은 무엇인가(결합 채널, 단일 재해 후 이미지, 이어붙인 또는 뺄셈 방식의 트윈-타워)?
• RQ3 하나의 지역 재해에서 훈련된 모델이 다른 지역으로 얼마나 잘 일반화되는가?
• RQ4 다지역으로의 데이터 확장 또는 작은 지역 세트에 대한 미세조정이 교차 지역 성능을 향상시키는가?

주요 결과

• Twin-tower subtract (TTS) 아키텍처가 아이티 데이터셋에서 검증 AUC 0.8302로 가장 높은 성능을 달성했다.
• Twin-tower 모델은 단일 탑 모델보다 우수하여 재해 전후 정보를 추상적으로 비교하는 가치가 있음을 시사한다.
• Post-image Only (PO) 모델은 Concatenated Channel (CC) 모델보다 우수했고, 융합 전 특징 추출이 정합성 및 조명 차이에 도움이 됨을 시사한다.
• 교차 지역 실험은 다지역 학습 시 AUC가 더 높고, 작은 지역 하위 집합으로 미세조정하면 추가 이득이 있음을 보여준다.
• 최고의 교차 지역 결과는 모델을 조정하기 위해 소량의 지역 라벨링을 사용한 다음 더 큰 영역에 적용할 때 얻어진다.