[논문 리뷰] xBD: A Dataset for Assessing Building Damage from Satellite Imagery

Ritwik Gupta, Richard Hosfelt외 7명|arXiv (Cornell University)|2019. 11. 21.

Remote-Sensing Image Classification참고 문헌 14인용 수 69

한 줄 요약

xBD는 대규모의 다재난 위성 영상 데이터셋을 제공하며 건물의 윤곽선, 다중 클래스 손상 라벨, 환경 요인을 포함하여 인도적 맥락에서 자동 건물 손상 평가를 발전시킨다. train/test/holdout 분할로 xView 2 챌린지를 지원한다.

ABSTRACT

We present xBD, a new, large-scale dataset for the advancement of change detection and building damage assessment for humanitarian assistance and disaster recovery research. Natural disaster response requires an accurate understanding of damaged buildings in an affected region. Current response strategies require in-person damage assessments within 24-48 hours of a disaster. Massive potential exists for using aerial imagery combined with computer vision algorithms to assess damage and reduce the potential danger to human life. In collaboration with multiple disaster response agencies, xBD provides pre- and post-event satellite imagery across a variety of disaster events with building polygons, ordinal labels of damage level, and corresponding satellite metadata. Furthermore, the dataset contains bounding boxes and labels for environmental factors such as fire, water, and smoke. xBD is the largest building damage assessment dataset to date, containing 850,736 building annotations across 45,362 km extsuperscript{2} of imagery.

연구 동기 및 목표

• 건물 윤곽선과 손상 라벨이 포함된 재해 전후 이미지를 대규모하고 다양한 데이터셋으로 제공하여 자동 평가를 지원한다.
• 다양한 재해 유형에 적용 가능한 통합 손상 척도(Joint Damage Scale)를 도입한다.
• 인도적 지원 및 재난 대응을 위한 컴퓨터 비전 모델의 평가와 개발을 촉진한다.

제안 방법

• 다양한 지리적 범위에 걸쳐 Maxar/DigitalGlobe Open Data Program에서 11개 Tier 1 및 8개 Tier 3 재해 이벤트를 선별한다.
• 재해 전 이미지에 건물 윤곽선을 주석으로 표기하고, 재해 후 이미지에 겹쳐 Joint Damage Scale 라벨을 할당한다.
• 손상 맥락과 관련된 환경 요인 주석(화재, 연기, 침수 물 등)을 포함한다.
• 재해 전후 영상 간 재투영 차이로 인한 다각형 이동(드리프)을 보정하기 위해 이미지 시프트를 적용한다.
• 오픈 리더보드와 비공개 평가를 지원하기 위해 train/test/holdout 분할(80/10/10)을 제공한다.
• 베이스라인 모델에는 로컬라이제이션 모델(수정된 U-Net)과 순서형 교차 엔트로피로 학습된 분류 모델(ResNet50 + 얕은 CNN)이 포함된다.

실험 결과

연구 질문

• RQ1 위성 영상에 적합한 통합 다재난 손상 평가 척도를 어떻게 만들 수 있을까?
• RQ2 재해 전후 위성 영상에서 달성 가능한 건물 손상 주석의 척도와 다양성은 어느 정도인가?
• RQ3 xBD에서 기본 컴퓨터 비전 모델이 건물을 로컬라이즈하고 손상 수준을 효과적으로 분류할 수 있는가?
• RQ4 손상 주석 품질이 인도적 도움 및 재난 대응(HADR) 설정의 자동 손상 평가에 어떤 영향을 미치는가?
• RQ5 재난 대응을 위한 대규모 실제 위성 영상 데이터셋 구축에서의 실용적 데이터 수집 및 주석 도전 과제는 무엇인가?

주요 결과

• xBD는 850,736 건물 다각형과 45,362 km2에서 19개의 재난, 22,068장의 이미지로 구성되어 있다.
• 데이터셋은 네 수준의 Joint Damage Scale(0-3: 손상 없음에서 파괴까지)을 사용한다.
• 배경에 대해 IoU 0.97, 건물에 대해 0.66의 로컬라이제이션 IoU를 달성했다.
• ResNet50 백본과 작은 CNN을 결합한 기본 분류는 네 가지 손상 클래스로 전체 가중 F1 점수 0.2654를 산출했다.
• 손상 클래스 분포는 매우 불균형하며 No Damage가 313,033개의 다각형으로 지배적이고, Minor 36,860; Major 29,904; Destroyed 31,560; Unclassified 14,011이다.
• 모델은 No Damage에 대해 높은 정밀도(0.8770)를 보였지만 Major/Minor 클래스에는 낮은 재현율을 보여 클래스 불균형과 미묘한 시각적 차이를 시사한다.