[论文解读] Flood Segmentation on Sentinel-1 SAR Imagery with Semi-Supervised Learning

Sayak Paul, Siddha Ganju|ArXiv.org|Jul 18, 2021

Flood Risk Assessment and Management被引用 12

一句话总结

本文提出了一种基于U-Net集成的半监督伪标签框架，用于提升Sentinel-1 SAR影像上的洪水分割性能。通过迭代生成并过滤未标注数据中的高置信度伪标签，将其与人工标注数据结合，并应用CRF后处理，该方法在IoU指标上达到了0.7654的新SOTA水平，显著优于0.60的基线模型。

ABSTRACT

Floods wreak havoc throughout the world, causing billions of dollars in damages, and uprooting communities, ecosystems and economies. The NASA Impact Flood Detection competition tasked participants with predicting flooded pixels after training with synthetic aperture radar (SAR) images in a supervised setting. We propose a semi-supervised learning pseudo-labeling scheme that derives confidence estimates from U-Net ensembles, progressively improving accuracy. Concretely, we use a cyclical approach involving multiple stages (1) training an ensemble model of multiple U-Net architectures with the provided high confidence hand-labeled data and, generated pseudo labels or low confidence labels on the entire unlabeled test dataset, and then, (2) filter out quality generated labels and, (3) combine the generated labels with the previously available high confidence hand-labeled dataset. This assimilated dataset is used for the next round of training ensemble models and the cyclical process is repeated until the performance improvement plateaus. We post process our results with Conditional Random Fields. Our approach sets a new state-of-the-art on the Sentinel-1 dataset with 0.7654 IoU, an impressive improvement over the 0.60 IoU baseline. Our method, which we release with all the code and models, can also be used as an open science benchmark for the Sentinel-1 dataset.

研究动机与目标

• 通过利用大规模未标注SAR影像，解决遥感领域中洪水标注数据有限的挑战。
• 利用半监督学习提升Sentinel-1 SAR数据上的洪水分割精度，减少对昂贵人工标注的依赖。
• 开发一种可扩展的、支持实时推理的流水线，具备不确定性估计与后处理能力，以增强鲁棒性。
• 基于开放科学原则，在Sentinel-1数据集上建立洪水分割的新SOTA基准。

提出的方法

• 在高置信度人工标注数据上训练U-Net架构的集成模型，并对整个未标注测试集生成伪标签。
• 基于集成模型之间的分歧度估计置信度，过滤伪标签，仅保留高质量预测结果。
• 通过循环迭代的方式，使用原始标注数据与过滤后的伪标签组合数据，对集成模型进行再训练，实现逐步优化。
• 应用测试时增强（D4对称性）并使用条件随机场（CRF）进行后处理，以提升空间一致性。
• 采用混合精度训练，并在四张V100 GPU上使用分布式数据并行技术加速训练过程。
• 利用Ray框架实现CRF推理的并行化，以支持实时部署。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，结合伪标签的半监督学习能否显著提升Sentinel-1 SAR影像上的洪水分割性能？
• RQ2 在标注资源有限的场景下，基于集成的置信度估计在提升伪标签可靠性方面有何作用？
• RQ3 通过使用过滤后的伪标签进行迭代优化，模型在不同地理区域上的泛化能力能提升到何种程度？
• RQ4 CRF后处理与测试时增强是否能进一步提升性能与空间一致性？
• RQ5 所提方法是否具备可扩展性与实时部署能力，适用于实际灾害响应场景？

主要发现

• 所提出的半监督框架在Sentinel-1洪水分割基准上实现了0.7654的新SOTA交并比（IoU）得分。
• 与基线模型0.60的IoU相比，性能提升超过27%，充分证明了伪标签方法的显著增益。
• 测试时增强（TTA）在消融实验中贡献了5%的IoU提升，使性能从0.52提升至0.57。
• CRF后处理进一步提升了预测质量，尤其在边界区域的优化与噪声抑制方面表现突出。
• 推理流水线经过优化，支持实时部署，通过并行化CRF推理实现了低延迟处理。
• 该方法在多种地理区域（包括农业与城市区域）均表现出良好泛化能力，得益于鲁棒的数据增强与集成策略。