[论文解读] Assessing Post-Disaster Damage from Satellite Imagery using Semi-Supervised Learning Techniques

Jihyeon Lee, Joseph Z. Xu+9 more|arXiv (Cornell University)|Nov 24, 2020

Anomaly Detection Techniques and Applications参考文献 28被引用 26

一句话总结

本文提出了一种半监督学习方法，结合MixMatch与FixMatch，仅使用少量标注的卫星图像即可训练出高精度的建筑物损毁检测模型，在海地、圣罗莎和阿勒颇三起真实灾难事件中，仅需极少标注数据即达到接近完全监督模型的性能。

ABSTRACT

To respond to disasters such as earthquakes, wildfires, and armed conflicts, humanitarian organizations require accurate and timely data in the form of damage assessments, which indicate what buildings and population centers have been most affected. Recent research combines machine learning with remote sensing to automatically extract such information from satellite imagery, reducing manual labor and turn-around time. A major impediment to using machine learning methods in real disaster response scenarios is the difficulty of obtaining a sufficient amount of labeled data to train a model for an unfolding disaster. This paper shows a novel application of semi-supervised learning (SSL) to train models for damage assessment with a minimal amount of labeled data and large amount of unlabeled data. We compare the performance of state-of-the-art SSL methods, including MixMatch and FixMatch, to a supervised baseline for the 2010 Haiti earthquake, 2017 Santa Rosa wildfire, and 2016 armed conflict in Syria. We show how models trained with SSL methods can reach fully supervised performance despite using only a fraction of labeled data and identify areas for further improvements.

研究动机与目标

• 解决利用卫星图像进行灾后损毁评估时标注数据有限的挑战。
• 克服在以往灾难上训练的机器学习模型应用于新出现的、未见过的灾难时存在的泛化差距。
• 评估现代半监督学习技术在遥感应用低数据场景下的有效性。
• 证明在实时灾难响应中，当标注数据稀缺时，SSL可达到或超过完全监督模型的性能。

提出的方法

• 应用MixMatch与FixMatch两种最先进的半监督学习方法，在有限标注和大量未标注的卫星图像上训练损毁检测模型。
• 采用RandAugment与CTAugment等数据增强策略，提升在不同条件下的卫星图像的鲁棒性与泛化能力。
• 通过为未标注数据生成伪标签并强制模型在不同增强下保持一致性，实施一致性正则化。
• 构建孪塔Siamese网络架构作为基线模型，并与SSL方法进行性能对比。
• 对所有方法和数据集进行学习率与权重衰减等超参数的微调，确保公平比较。
• 采用自训练循环机制，利用模型对增强后未标注数据的预测作为伪标签，迭代优化模型。

实验结果

研究问题

• RQ1 像MixMatch与FixMatch这样的半监督学习方法，是否能在仅使用少量标注卫星图像的情况下实现高精度的建筑物损毁检测？
• RQ2 当标注数据限制在10至500个样本时，SSL模型的性能与完全监督模型相比如何？
• RQ3 在训练数据分布与推理数据不一致的情况下，强数据增强是否能提升卫星图像中模型的泛化能力？
• RQ4 在极小标注数据条件下，SSL模型是否能超越在相同数据上训练的完全监督模型，特别是在未见过的灾难场景中？
• RQ5 SSL方法在不同灾难类型和地理区域（如地震、野火和武装冲突）之间，其泛化能力如何？

主要发现

• 在圣罗莎野火数据集中，FixMatch仅使用500个标注样本即达到98%的准确率，优于在90%数据上训练的完全监督模型（准确率99%）。
• 在海地地震数据集中，FixMatch使用500个标注样本达到87%的准确率，超过在90%数据上训练的完全监督基线模型（准确率90%）。
• 在海地与阿勒坡数据集中，MixMatch在仅使用10个标注样本时，准确率相比监督基线最高提升15%。
• 在所有三个数据集中，FixMatch均优于MixMatch，尤其在500个标注样本时表现更优，表明其在低数据场景下具有更强的性能。
• 结果表明，SSL模型仅需完全监督训练所需标注数据的1%–2%，即可实现接近监督学习的性能。
• 强数据增强策略显著提升了模型的鲁棒性与泛化能力，尤其在来自多样化灾难的高方差卫星图像中表现突出。