[논문 리뷰] xFBD: Focused Building Damage Dataset and Analysis

Dennis Melamed, Cameron Johnson외 5명|arXiv (Cornell University)|2022. 12. 23.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 xView2 경쟁에서 모델이 맥락적 단서에 크게 의존하는 데 대한 한계를 해결하기 위해, 고립된 상태에서 건물 손상 탐지 모델을 평가하기 위한 새로운 증강 데이터셋인 xFBD와 오브젝트 수준 평가 지표를 제안한다. 연구 결과, 상위 xView2 모델들이 고립된 손상 사례에서 실패하는 것으로 드러났으며, 오브젝트 분리성과 국소화 성능을 향상시키기 위해 새로운 손실 함수(4PS-Focal, 4PS-Contour)와 베이스라인을 제안한다. 이는 건물 손상 탐지가 미세한 분류 및 맥락에 무관한 분석을 위해 여전히 열려 있는 과제임을 입증한다.

ABSTRACT

The xView2 competition and xBD dataset spurred significant advancements in overhead building damage detection, but the competition's pixel level scoring can lead to reduced solution performance in areas with tight clusters of buildings or uninformative context. We seek to advance automatic building damage assessment for disaster relief by proposing an auxiliary challenge to the original xView2 competition. This new challenge involves a new dataset and metrics indicating solution performance when damage is more local and limited than in xBD. Our challenge measures a network's ability to identify individual buildings and their damage level without excessive reliance on the buildings' surroundings. Methods that succeed on this challenge will provide more fine-grained, precise damage information than original xView2 solutions. The best-performing xView2 networks' performances dropped noticeably in our new limited/local damage detection task. The common causes of failure observed are that (1) building objects and their classifications are not separated well, and (2) when they are, the classification is strongly biased by surrounding buildings and other damage context. Thus, we release our augmented version of the dataset with additional object-level scoring metrics (https://drive.google.com/drive/folders/1VuQZuAg6-Yo8r5J4OCx3ZRpa_fv9aaDX?usp=sharing) to test independence and separability of building objects, alongside the pixel-level performance metrics of the original competition. We also experiment with new baseline models which improve independence and separability of building damage predictions. Our results indicate that building damage detection is not a fully-solved problem, and we invite others to use and build on our dataset augmentations and metrics.

연구 동기 및 목표

• xView2 모델이 손상 분류를 위해 맥락 정보에 과도하게 의존하는 문제를 해결함으로써, 고립된 손상 건물에서의 성능 저하를 완화하기 위함.
• 포isson 블렌딩을 사용하여 기존의 손상이 없는 사전 재해 영상에 단일 손상 건물을 합성적으로 삽입함으로써, 단일 건물을 고립된 상태로 분리하는 새로운 데이터셋 증강 방법 개발.
• 픽셀 수준 평균값이 아닌 개별 건물 수준에서 모델 성능을 측정하는 오브젝트 수준 평가 지표 도입.
• 기존 상위 성능을 보인 xView2 모델들이 고립된 손상 시나리오에 대해 일반화 성능이 떨어지는지 평가하기 위함.
• 오브젝트 분리성과 경계 정확도를 향상시키기 위해 오브젝트 분리성 및 경계 정확도를 향상시키기 위한 새로운 손실 함수(4PS-Focal, 4PS-Contour) 제안.

제안 방법

• 포isson 블렌딩을 사용하여 xBD 데이터셋을 증강하여, 손상이 없는 사전 재해 영상에 단일 손상 건물을 합성적으로 삽입함으로써 xFBD 데이터셋을 구축.
• 개별 건물 수준에서의 성능을 평가하기 위한 오브젝트 수준 지표 도입으로, 국소화 F1 및 오브젝트 수준의 손상 분류 F1 측정.
• 고립된 건물의 분류 성능을 향상시키기 위해 포칼 손실(L_R)과 소프트 딱지 손실(L_SD) 성분을 포함한 수정된 4PS 손실 함수 설계.
• 경계 정확도와 오브젝트 분리성을 향상시키기 위해 분류 손실과 딱지 손실을 통합한 컨투어 손실(L_Contour) 구현.
• xFBD 및 xBD 데이터셋에서 Mask-RCNN 및 수정된 4PS 모델을 사용해 새로운 베이스라인을 훈련 및 평가하여 다양한 지표 간 성능 비교.
• 붕괴된 건물이 屋根 수준에서 시각적으로 확인되지 않는 경우(예: 홍수 영향을 받은 건물)를 제외하기 위해 필터링 메커니즘 적용으로 의미 있는 평가 보장.

실험 결과

연구 질문

• RQ1 맥락 정보를 제거했을 때 상위 성능 xView2 모델들이 고립된 손상 건물에서 어떻게 성능을 내는가?
• RQ2 현재 모델들이 건물 자체의 특징보다 주변 맥락에 얼마나 의존하여 손상 분류를 수행하는가?
• RQ3 새로운 손실 함수(4PS-Focal, 4PS-Contour)가 개별 건물의 손상 예측 분리성과 정확도를 향상시키는가?
• RQ4 오브젝트 수준 지표는 픽셀 수준 지표와 비교해 고립된 손상 사례에서의 모델 실패를 어떻게 다르게 드러내는가?
• RQ5 오브젝트 감지 모델인 Mask-RCNN이 고립된 건물 손상 탐지에서 인스턴스 세그멘테이션 기반 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 상위 5개의 xView2 모델은 xFBD 챌린지에서 빈도 수준 F1 점수가 0.05 이하로 낮게 나타나, 고립된 손상 건물 탐지에서 심각한 실패를 보였음.
• 주요 실패 원인은 건물 오브젝트 간 분리가 불량하고, 건물 자체가 명확히 손상되었음에도 주변 맥락에 의해 손상 분류에 강한 편향이 발생한 것임.
• 4PS-Focal 및 4PS-Contour 손실 변형은 원래 4PS 베이스라인 대비 오브젝트 수준 F1 점수를 향상시켰으며, 각각 xFBD 데이터셋에서 0.040과 0.050을 기록함.
• Mask-RCNN은 오브젝트 수준 국소화에서 4PS 기반 모델을 앞서 0.210 F1 점수를 기록하여 오브젝트 인식 아키텍처의 본질적 이점이 있음을 시사함.
• 오브젝트 수준 지표는 픽셀 수준 지표에서는 드러나지 않는 심각한 성능 격차를 드러내었으며, 예를 들어 손상 건물을 완전히 놓친 상태에서도 xView2 점수가 0.887에 이르는 등 높은 점수를 기록함.
• 본 연구는 건물 손상 탐지 문제가 아직 완전히 해결되지 않았으며, 맥락에 무관한 미세한 분류 분석이 여전히 핵심적인 열린 과제임을 확인함.