[논문 리뷰] Assessing Post-Disaster Damage from Satellite Imagery using Semi-Supervised Learning Techniques

Jihyeon Lee, Joseph Z. Xu외 9명|arXiv (Cornell University)|2020. 11. 24.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 26

한 줄 요약

이 논문은 미소수의 레이블이 부여된 위성 영상에서 정확한 건물 피해 탐지 모델을 훈련하기 위해 MixMatch와 FixMatch를 사용하는 준지도학습 접근법을 제안한다. 헤이티, 산타 로사, 알레프의 세 가지 실제 재난에서, 완전히 지도학습 모델에 가까운 성능을 레이블이 훨씬 적은 데이터로 달성한다.

ABSTRACT

To respond to disasters such as earthquakes, wildfires, and armed conflicts, humanitarian organizations require accurate and timely data in the form of damage assessments, which indicate what buildings and population centers have been most affected. Recent research combines machine learning with remote sensing to automatically extract such information from satellite imagery, reducing manual labor and turn-around time. A major impediment to using machine learning methods in real disaster response scenarios is the difficulty of obtaining a sufficient amount of labeled data to train a model for an unfolding disaster. This paper shows a novel application of semi-supervised learning (SSL) to train models for damage assessment with a minimal amount of labeled data and large amount of unlabeled data. We compare the performance of state-of-the-art SSL methods, including MixMatch and FixMatch, to a supervised baseline for the 2010 Haiti earthquake, 2017 Santa Rosa wildfire, and 2016 armed conflict in Syria. We show how models trained with SSL methods can reach fully supervised performance despite using only a fraction of labeled data and identify areas for further improvements.

연구 동기 및 목표

• 위성 영상에 기반한 재난 후 피해 평가에서 레이블이 부족한 문제를 해결한다.
• 이전 재난에서 훈련된 기계학습 모델이 새로운, 알려지지 않은 재난에 적용되었을 때의 일반화 갭을 극복한다.
• 원격 감지 응용 분야에서 낮은 데이터 환경에서 최신 준지도학습 기법의 효과성을 평가한다.
• 실시간 재난 대응 상황에서 레이블 데이터가 부족할 경우 SSL이 완전히 지도학습 성능을 따라하거나 능가할 수 있음을 보여준다.

제안 방법

• 제안된 준지도학습 방법인 MixMatch와 FixMatch를 사용하여, 제한된 레이블이 부여된 위성 영상과 풍부한 레이블이 없는 영상에서 피해 탐지 모델을 훈련한다.
• RandAugment와 CTAugment와 같은 데이터 증강 전략을 사용하여 다양한 조건에서의 위성 영상에서의 강건성과 일반화 능력을 향상시킨다.
• 일致성 정규화를 구현하기 위해 레이블이 없는 데이터에 대해 가짜 레이블을 생성하고, 다양한 증강에 대해 모델의 불변성을 강제한다.
• 기준 모델로 쌍둥이 타워 Siamese 네트워크 아키텍처를 구현하고, SSL 방법과의 성능를 비교한다.
• 모든 방법과 데이터셋에서 학습률과 가중치 감쇠 등의 초모수를 최적화하여 공정한 비교를 확보한다.
• 자기 훈련 루프를 구현하여, 증강된 레이블이 없는 데이터에 대한 모델 예측 결과를 가짜 레이블로 사용해 모델을 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 MixMatch와 FixMatch와 같은 준지도학습 방법이 레이블이 부족한 위성 영상에서 빌딩 피해 탐지에 대해 높은 정확도를 달성할 수 있는가?
• RQ2 레이블 데이터가 10~500개로 제한되었을 때, SSL 모델의 성능이 완전히 지도학습 모델과 비교해 어떻게 되는가?
• RQ3 강력한 데이터 증강 기법이, 훈련 데이터 분포가 추론 데이터와 다를 경우 위성 영상에서 모델의 일반화 능력을 향상시키는가?
• RQ4 최소한의 레이블 데이터로 훈련된 SSL 모델이 동일한 데이터로 훈련된 완전히 지도학습 모델을 능가할 수 있는가, 특히 새로운 재난 상황에서?
• RQ5 SSL 방법이 지진, 산불, 전쟁 등 다양한 재난 유형과 지리적 지역 간에서 얼마나 잘 일반화되는가?

주요 결과

• FixMatch는 산타 로사 산불 데이터셋에서 레이블이 500개 뿐이지만 98%의 정확도를 기록했고, 90%의 데이터로 훈련된 완전히 지도학습 모델(99% 정확도)을 초월했다.
• 헤이티 지진 데이터셋에서 FixMatch는 500개의 레이블을 사용했을 때 87%의 정확도를 달성했고, 90%의 데이터로 훈련된 완전히 지도학습 기준 모델(90% 정확도)을 뛰어넘었다.
• 헤이티와 알레프 데이터셋에서 MixMatch는 레이블이 10개 뿐일 때도 지도학습 기준 모델 대비 최대 15% 향상된 정확도를 기록했다.
• 모든 세 데이터셋에서 FixMatch가 MixMatch를 능가했으며, 특히 레이블이 500개일 경우 낮은 데이터 환경에서 더 강력한 성능을 보였다.
• 결과적으로 SSL 모델는 완전히 지도학습 훈련에 필요한 레이블 데이터의 약 1~2%만으로도 거의 지도학습 성능에 도달할 수 있음을 보여주었다.
• 강력한 데이터 증강 정책은 특히 다양한 재난에서 유래한 고분산 위성 영상에서 모델의 강건성과 일반화 능력을 크게 향상시켰다.