[논문 리뷰] MSNet: A Multilevel Instance Segmentation Network for Natural Disaster Damage Assessment in Aerial Videos

Xiaoyu Zhu, Junwei Liang외 1명|arXiv (Cornell University)|2020. 06. 30.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 항공 드론 영상에서 자동으로 건물 피해 평가를 위한 다수준 인스턴스 세분화 네트워크인 MSNet을 제안한다. ISBDA 데이터셋을 도입하여 인스턴스 수준의 피해 레이블을 제공하고, 탐지 정확도를 향상시키기 위해 계층적 영역 제안 네트워크(HRPN)와 비지도 스코어 보정 네트워크(SRN)를 활용하여, PolarMask 대비 마스크 AP에서 14.9%의 절대적 향상을 달성하며 최신 기술 수준의 성능을 확보한다.

ABSTRACT

In this paper, we study the problem of efficiently assessing building damage after natural disasters like hurricanes, floods or fires, through aerial video analysis. We make two main contributions. The first contribution is a new dataset, consisting of user-generated aerial videos from social media with annotations of instance-level building damage masks. This provides the first benchmark for quantitative evaluation of models to assess building damage using aerial videos. The second contribution is a new model, namely MSNet, which contains novel region proposal network designs and an unsupervised score refinement network for confidence score calibration in both bounding box and mask branches. We show that our model achieves state-of-the-art results compared to previous methods in our dataset. We will release our data, models and code.

연구 동기 및 목표

• 항공 드론 영상에서 건물 피해 평가를 위한 벤치마크 데이터셋의 부족 문제를 해결하기 위해.
• 특히 작은, 비정형적인 형태의 피해 인스턴스에 대해 탐지 정확도를 향상시키기 위해.
• 드론 영상 시퀀스에서의 시점 변화와 프레임 간 일관성 없는 탐지 문제를 다루기 위해.
• 경계 박스 및 마스크 예측 브랜치의 신뢰도 스코어를 校정하여 신뢰성 향상시키기 위해.
• 계층적 공간 관계와 프레임 간 일관성을 활용하여 견고한 피해 세분화를 수행하는 모델 개발하기 위해.

제안 방법

• 사용자 생성 항공 드론 영상에 대해 세분화된 인스턴스 수준의 레이블을 제공하는 첫 번째 데이터셋인 ISBDA를 제안한다.
• 건물과 그 피해 부위 간의 공간 계층성을 모델링하여 탐지 성능을 향상시키는 계층적 영역 제안 네트워크(HRPN)를 도입한다.
• 프레임 간 일관성을 활용하여 경계 박스 및 마스크 브랜치의 신뢰도 스코어를 보정하는 비지도 스코어 보정 네트워크(SRN)를 적용한다.
• 특징 추출 및 다중 해상도 탐지를 위해 백본으로 ResNet-50과 기능 피라미드 네트워크(FPN)를 사용한다.
• 앵커 샘플링에 대해 IoU와 교차율-교차율(II) 지표를 적용하며, II 지표가 작은 피해 인스턴스에서 뛰어난 성능을 보인다.
• 두 단계 학습 방식을 사용하여 MSNet을 학습한다: 먼저 경계 박스로, 그 다음 피해 마스크로 학습하며, 계층적 구조를 활용해 마스크 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 인스턴스 수준의 피해 레이블이 있는 항공 드론 영상 신규 데이터셋이 손상 평가 모델의 정량적 벤치마킹을 가능하게 할 수 있는가?
• RQ2 건물과 그 피해 부위 간의 계층적 공간 관계를 어떻게 활용하여 탐지 성능을 향상시킬 수 있는가?
• RQ3 드론 영상 시퀀스의 프레임 간 일관성을 활용하여 인간 레이블이 없는 상태에서 신뢰도 스코어 校정을 개선할 수 있는가?
• RQ4 작은 피해 인스턴스에 대해 기존 IoU 대비 교차율-교차율(II) 지표를 앵커 샘플링 지표로 사용할 경우 성능이 뛰어나지 않는가?
• RQ5 다수준 인스턴스 세분화 네트워크가 항공 영상에서 건물 피해 세분화 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MSNet는 ISBDA 데이터셋에서 PolarMask 대비 마스크 평균 정밀도(AP)에서 14.9%의 절대적 향상을 기록하며 최신 기술 수준의 성능을 입증한다.
• HRPN 구성 요소는 기준 모델 대비 4.3% AP 향상을 기록하여 계층적 공간 관계 모델링의 유용성을 입증한다.
• SRN 구성 요소는 신뢰도 스코어 보정을 통해 경계 박스 및 마스크 브랜치 양쪽에서 성능 향상을 이끌어내어 탐지 성능을 추가로 향상시킨다.
• II 지표를 앵커 샘플링 지표로 사용할 경우 IoU 대비 2.7% AP 향상을 기록하며, 작은 피해 인스턴스에서는 이로 인해 7.1%의 절대적 향상이 발생하여 소규모 이상 현상 처리 능력이 향상된다.
• 모델은 노이즈가 많고 복잡한 상황에서도 레이블 오분류, 참성분 오진, 마스크 미완성, 누락 탐지 등의 문제를 크게 줄였다.
• 실증적 검증을 통해 MSNet이 ISBDA 벤치마크에서 모든 평가 지표에서 최신 기술 수준의 모델들, 특히 Mask R-CNN 변종들을 초월하는 것으로 확인되었다.