[논문 리뷰] Building Disaster Damage Assessment in Satellite Imagery with Multi-Temporal Fusion

Ethan Weber, Hassan Kané|arXiv (Cornell University)|2020. 04. 12.

Remote-Sensing Image Classification참고 문헌 17인용 수 71

한 줄 요약

논문은 재해 전후 위성 영상을 다중 시점으로 융합하여 건물을 공동으로 탐지하고 픽셀 단위 손상을 평가하는 방법을 연구하며, 공유 가중치와 시맨틱 세분화를 사용하는 단일 네트워크로 xView2 대회에서 최첨단 성과를 달성한다.

ABSTRACT

Automatic change detection and disaster damage assessment are currently procedures requiring a huge amount of labor and manual work by satellite imagery analysts. In the occurrences of natural disasters, timely change detection can save lives. In this work, we report findings on problem framing, data processing and training procedures which are specifically helpful for the task of building damage assessment using the newly released xBD dataset. Our insights lead to substantial improvement over the xBD baseline models, and we score among top results on the xView2 challenge leaderboard. We release our code used for the competition.

연구 동기 및 목표

• 재난 대응에 신속하고 정확한 피해 평가를 동원하도록 동기를 부여한다.
• 재난 전후의 다중 시점 정보가 건물 위치 추정 및 손상 분류에 얼마나 가치 있는지 입증한다.
• CNN 성능을 향상시키기 위한 데이터 전처리 및 학습 전략을 식별한다.
• 단일 네트워크가 위치 추정과 손상 평가를 함께 수행하고 기준 성능보다 향상된 결과를 보인다는 점을 보여준다.

제안 방법

• 재해 전후 이미지를 공유 가중치 CNN 백본을 통해 특징 추출에 활용한다.
• 최종 세그먼트 헤드 전에 재해 전후 스트림의 특징을 융합한다.
• per-pixel 클래스 예측을 위한 Mask R-CNN/Feature Pyramid Network 백본과 시맨틱 세그먼테이션 헤드를 사용한다.
• 위치 추정을 개선하기 위해 전체 1024x1024 이미지 대신 512x512 크롭(4분할)에서 학습한다.
• 클래스 빈도에 반비례하는 가중치를 적용하여 데이터 불균형(손상 없음/건물 없음 픽셀 다수)을 해결한다.
• 인스턴스 세분화와 시맨틱 세분화를 비교하고, 재해 전후 입력을 함께 사용하는 시맨틱 세분화가 최상의 성능을 낸다고 결론지었다.

실험 결과

연구 질문

• RQ1 단일 네트워크가 다중 시점 위성 영상으로 건물 위치 추정과 다중 클래스 손상 평가를 함께 수행할 수 있는가?
• RQ2 다중 시점 입력(재해 전후)이 단일 시점 접근 방식보다 건물 손상 세분화에 우수한가?
• RQ3 xBD/xView2 태스크의 성능을 향상시키는 전처리 및 손실 가중치 전략은 무엇인가?

주요 결과

• 최적 모델은 재해 전후 입력을 공유 가중치를 통해 독립적으로 전달한 뒤, 분할 전에 연결(concatenate)하는 시맨틱 세분화를 사용한다.
• 이미지 전체를 사용하는 것보다 각 이미지에서 4개의 512x512 크롭으로 학습하는 것이 위치 추정 및 손상 지표를 개선한다.
• 교차 엔트로피(class weighting)로의 결합 예측이 손상 및 전반적인 F1 점수를 향상시킨다.
• 최종 위치 추정 F1: 0.835; 손상 F1: 0.697; 전반 F1: 0.738 on the xView2 holdout.
• 제안된 모델은 xBD 기준선과 비교하여 모든 측정 지표에서 더 높은 F1 점수를 달성한다(예: 전반 F1 0.738 vs 0.265).
• xView2 리더보드에서 이 접근법은 Track 3(Evaluation Only)에서 2위를 차지했고 경쟁력 있는 결과를 얻었다.