[논문 리뷰] Fully convolutional Siamese neural networks for buildings damage assessment from satellite images

Eugene Khvedchenya, Tatiana Gabruseva|arXiv (Cornell University)|2021. 10. 31.

Remote-Sensing Image Classification인용 수 7

한 줄 요약

이 논문은 사전 및 재해 후 위성 영상 쌍을 사용하여 자동으로 건물 피해 평가를 수행하기 위해 인코더-디코더 아키텍처를 갖춘 완전 컨volution 신경망(Siamese neural network)을 제안한다. 특징 수준에서 쌍을 이룬 영상의 연결과 가중치가 부여된 교차 엔트로피 손실을 활용함으로써, xView2 챌린지에서 가중치 F1 스코어 0.7776을 기록하여 최신 기술 수준의 성능을 달성하였다. 표준 접근 방식과 아블레이션 변형보다 뛰어난 성능을 보였다.

ABSTRACT

Damage assessment after natural disasters is needed to distribute aid and forces to recovery from damage dealt optimally. This process involves acquiring satellite imagery for the region of interest, localization of buildings, and classification of the amount of damage caused by nature or urban factors to buildings. In case of natural disasters, this means processing many square kilometers of the area to judge whether a particular building had suffered from the damaging factors. In this work, we develop a computational approach for an automated comparison of the same region's satellite images before and after the disaster, and classify different levels of damage in buildings. Our solution is based on Siamese neural networks with encoder-decoder architecture. We include an extensive ablation study and compare different encoders, decoders, loss functions, augmentations, and several methods to combine two images. The solution achieved one of the best results in the Computer Vision for Building Damage Assessment competition.

연구 동기 및 목표

• 자연재해 이후 빠르고 자동으로 건물 피해 평가가 이루어질 수 있도록 인프라 복구 지원을 위한 긴급한 필요성을 해결한다.
• 사전 및 재해 후 영상 쌍을 사용하여 동시에 건물 위치를 식별하고 피해 수준을 분류하는 딥 러닝 모델을 개발한다.
• 대부분의 건물이 피해를 입지 않은 상태이므로 피해 레이블에서 균형이 깨진 문제를 해결하기 위해 효과적인 손실 가중치와 데이터 증강 기법을 적용한다.
• 다양한 인코더, 디코더, 손실 함수, 영상 조합 전략을 평가하여 모델 아키텍처를 최적화한다.
• 엔드 투 엔드 훈련과 광범위한 아블레이션 연구를 통해 xView2 컴퓨터 비전을 통한 건물 피해 평가 챌린지에서 높은 성능을 달성한다.

제안 방법

• 공유된 인코더 가중치를 갖춘 시아모이스 신경망을 사용하여 1024×1024 픽셀 크기의 사전 및 재해 후 위성 영상 쌍에서 특징을 추출한다.
• 디코더 이전에 두 영상의 특징 맵을 연결 또는 뺄셈으로 조합하며, 연결 방식이 더 뛰어난 성능을 보였다.
• U-Net 스타일의 디코더를 사용하여 전체 해상도에서 5개 클래스의 세그멘테이션 마스크(0: 건물 없음, 1–4: 피해 수준)를 재구성한다.
• 손실 분포가 각 폴드에 균형 있게 유지되도록 5겹 교차 검증과 다중 레이블 스트라티피케이션을 사용하여 512×512 크기의 샘플로 훈련한다.
• 특히 드문 피해 클래스에 대해 일반화 능력을 향상시키기 위해 공간적 및 색상 기반 데이터 증강 기법을 적용한다.
• '건물 없음' 및 '피해 없음' 클래스에 대해 1.0, '경미한', '심각한', '파손됨' 피해 클래스에 대해 3.0의 클래스 가중치를 부여한 가중치가 부여된 교차 엔트로피 손실을 구현하여 클래스 불균형 문제를 해결한다.

실험 결과

연구 질문

• RQ1 공유된 가중치를 갖는 시아모이스 아키텍처가 건물 피해 평가에서 표준 특징 연결 방식보다 어떻게 성능이 뛰어나며, 어떤가?
• RQ2 특징 연결과 뺄셈 중 어떤 영상 조합 방법이 피해 분류 및 국소화에 더 높은 성능을 낼 수 있는가?
• RQ3 사전 훈련된 인코더 아키텍처(예: ResNet, DenseNet, EfficientNet) 중에서 정확도와 계산 비용 간의 최적의 균형을 이루는 것은 무엇인가?
• RQ4 특히 클래스 불균형 피해 분류 데이터에서, 가중치가 부여된 교차 엔트로피 손실과 같은 다양한 손실 함수가 모델 성능에 어떤 영향을 미치는가?
• RQ5 데이터 증강 전략이 드문 피해 클래스에 대해 모델의 강인성과 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 특징 맵 연결을 사용하는 시아모이스 아키텍처는 표준 영상 연결 방식보다 뛰어난 성능을 보였으며, SE-ResNeXt-50 인코더와 U-Net 디코더를 사용해 가중치 F1 스코어 0.7776을 달성하였다.
• SE-ResNeXt-50 인코더가 가장 높은 성능을 보였으며(F1loc: 0.8797, F1class: 0.7338, Score: 0.7776), ResNet 및 DenseNet 변형보다 뛰어났다.
• 피해 클래스에 대해 3.0의 가중치를 부여한 가중치가 부여된 교차 엔트로피 손실은 표준 교차 엔트로피 대비 F1class를 0.018 향상시켜 드문 피해 수준에서의 성능을 크게 향상시켰다.
• 공간적 및 색상 증강 기법은 증강 없을 경우 대비 F1class를 0.018 향상시켰지만, 더 강력한 증강은 추가로 성능 향상을 가져오지 못했다.
• U-Net 디코더는 FPN 대비 일관되게 뛰어난 성능을 보였으며, 모든 인코더 유형에서 가중치 F1 스코어가 0.005~0.015 향상되었다.
• ResNet-18 및 기타 경량 인코더는 과소적합으로 인해 성능이 열등했으며, 이는 복잡한 피해 패tern을 포착하기 위해 더 깊은 아키텍처가 필요하다는 것을 시사한다.