[논문 리뷰] Cross-directional Feature Fusion Network for Building Damage Assessment from Satellite Imagery

Yu Shen, Sijie Zhu외 2명|arXiv (Cornell University)|2020. 10. 27.

Remote-Sensing Image Classification참고 문헌 16인용 수 8

한 줄 요약

이 논문은 사전 재해 및 재해 후 위성 영상에서 건물 피해 평가를 위해 양방향 특징 융합과 CutMix 기반 데이터 증강을 갖춘 이단계 U-Net 프레임워크를 제안한다. 사전 및 재해 후 특징 간 채널별 및 공간적 상관관계를 융합하고, 어려운 클래스(경미한 손상 및 중간 손상)에 대해서만 CutMix를 적용함으로써 xBD 벤치마크에서 최신 기술 수준의 성능을 달성하여 피해 평가의 F1 스코어를 0.778로 향상시켰다.

ABSTRACT

Fast and effective responses are required when a natural disaster (e.g., earthquake, hurricane, etc.) strikes. Building damage assessment from satellite imagery is critical before an effective response is conducted. High-resolution satellite images provide rich information with pre- and post-disaster scenes for analysis. However, most existing works simply use pre- and post-disaster images as input without considering their correlations. In this paper, we propose a novel cross-directional fusion strategy to better explore the correlations between pre- and post-disaster images. Moreover, the data augmentation method CutMix is exploited to tackle the challenge of hard classes. The proposed method achieves state-of-the-art performance on a large-scale building damage assessment dataset -- xBD.

연구 동기 및 목표

• 사전 및 재해 후 위성 영상 간 상관관계를 효과적으로 모델링하여 건물 피해 평가 성능을 향상시키는 데 도전한다.
• 건물 피해 분류에서 시각적으로 유사한 어려운 구분 클래스(예: 피해 없음 vs. 경미한 피해) 간의 시각적 유사성 문제를 해결한다.
• 대상 지정된 데이터 증강을 통해 소수 및 분류가 어려운 피해 수준의 모델 일반화 및 강건성을 향상시킨다.
• 대규모 xBD 데이터셋에서 건물 피해 평가 작업에 대해 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이중단계 U-Net 프레임워크를 사용한다: 첫 번째 단계는 사전 재해 영상만을 사용하여 건물 세그멘테이션을 수행하고, 두 번째 단계는 사전 및 재해 후 영상 모두를 사용하여 피해 평가를 수행한다.
• 사전 및 재해 후 영상의 특징 간 채널별 및 공간적 상관관계를 동시에 모델링하기 위해 상호 방향 융합 모듈을 도입한다.
• 이 융합 메커니즘은 두 영상 모odal 간 상보적인 정보를 통합함으로써 특징 표현을 향상시킨다.
• 어려운 클래스(경미한 피해 및 중간 피해)에 대해서만 CutMix 데이터 증강을 적용하여 훈련 다양성을 증가시키고 모델 강건성을 향상시킨다.
• 건물 세그멘테이션 단계에서 사전 훈련된 가중치를 사용하여 손상 평가 브랜치를 초기화함으로써 전이 학습을 구현한다.
• 모델은 ResNet-50을 백본으로 사용하며, Adam 옵timizer를 사용하여 훈련하고, 각 단계별로 학습률 및 에포크 스케줄을 최적화한다.

실험 결과

연구 질문

• RQ1 사전 및 재해 후 위성 영상 간 다중 모odal 상관관계를 효과적으로 모델링하여 건물 피해 평가 성능을 향상시킬 수 있는가?
• RQ2 모든 클래스에 균일하게 적용하는 것과는 대비하여, 어려운 분류 대상인 피해 수준(예: 경미한 피해 vs. 중간 피해)에 대해서만 CutMix 데이터 증강을 적용할 경우의 영향은 어떠한가?
• RQ3 공유된 특징 학습을 갖춘 이단계 U-Net 프레임워크는 건물 피해 세그멘테이션 및 분류 성능 향상에 기여하는가?
• RQ4 상호 방향 융합 특징 융합 기법이 시각적으로 유사한 피해 클래스 간 오분류를 어느 정도 감소시키는가?

주요 결과

• 제안된 방법은 xBD 데이터셋에서 피해 평가 F1 스코어 0.778을 달성하여 ResNet-50 기준선(0.757)과 이전 최신 기술 수준의 방법들을 초월한다.
• 제거 분석 결과, 상호 방향 융합만으로도 F1 스코어가 0.789에서 0.795로 향상되어 특징 표현 향상의 명백한 기여를 확인할 수 있다.
• 경미한 피해 및 중간 피해에 대해서만 CutMix를 적용할 경우 F1 스코어가 1.3% 향상(0.789 → 0.802)되었으며, 경미한 피해 분류 정확도는 2.7% 향상되었다.
• 모든 클래스에 CutMix를 적용했을 경우 F1 스코어는 오직 0.1% 향상(0.789 → 0.790)되었으며, 이는 하드 클래스에만 집중한 증강이 더 효과적임을 확인한다.
• 상호 방향 융합 모듈을 추가했을 때 파라미터 수는 0.6M 증가하고, FLOPs는 14.7 GFLOPs 증가하여 계산 오버헤드가 매우 낮음을 확인할 수 있다.
• 모든 피해 수준에서 최고의 성능을 기록하였으며, 피해 없음(0.927)과 파손(0.873)에 대해 가장 높은 F1 스코어를 기록했다.