[论文解读] Landslide Detection in Real-Time Social Media Image Streams

Ferda Ofli, Muhammad Ali Imran+5 more|arXiv (Cornell University)|Oct 3, 2021

Landslides and related hazards被引用 4

一句话总结

本文提出了一种实时计算机视觉系统，利用一个包含超过11,000张图像的大型专家标注数据集，在社交媒体图像中检测滑坡。表现最佳的模型在测试集上达到0.701的F1分数，实现了可扩展的自动化滑坡检测，以支持全球灾害制图和应急响应。

ABSTRACT

Lack of global data inventories obstructs scientific modeling of and response to landslide hazards which are oftentimes deadly and costly. To remedy this limitation, new approaches suggest solutions based on citizen science that requires active participation. However, as a non-traditional data source, social media has been increasingly used in many disaster response and management studies in recent years. Inspired by this trend, we propose to capitalize on social media data to mine landslide-related information automatically with the help of artificial intelligence (AI) techniques. Specifically, we develop a state-of-the-art computer vision model to detect landslides in social media image streams in real time. To that end, we create a large landslide image dataset labeled by experts and conduct extensive model training experiments. The experimental results indicate that the proposed model can be deployed in an online fashion to support global landslide susceptibility maps and emergency response.

研究动机与目标

• 解决全球缺乏全面滑坡清单的问题，该问题阻碍了科学建模和应急响应。
• 克服传统数据采集方法依赖人工整理和主动公民参与的局限性。
• 利用被动的、实时的社交媒体图像流作为可扩展的、低成本的数据源，用于滑坡检测。
• 开发高精度、可部署的AI模型，以在多样的视觉条件下实现自动滑坡检测。
• 实现实时态势感知，支持全球滑坡易损性制图和人道主义应急响应。

提出的方法

• 构建了一个包含11,000多张来自Twitter、Google和BGS的社交媒体图像的大型多样化数据集，由三位领域专家进行标注，且标注者间一致性较高。
• 使用迁移学习、数据增强和类别平衡策略，训练并评估了多种深度学习架构（如ResNet、DenseNet）。
• 通过大量实验，优化了学习率、权重衰减和优化器（Adam、SGD）等模型超参数。
• 采用类别激活图（CAMs）来解释模型注意力机制，并诊断误报和漏报的失败模式。
• 设计了一个实时流水线，利用Twitter Streaming API收集包含滑坡相关关键词的推文，提取图像URL，并通过训练好的模型进行图像分类。
• 集成地理定位推断和数据持久化模块，以实现实时仪表板可视化和检测结果的数据库存储。

实验结果

研究问题

• RQ1 在多样化的、专家标注的社交媒体图像上进行训练的深度学习模型，能否在实时滑坡检测中实现高性能？
• RQ2 不同的CNN架构、优化器和超参数如何影响模型在滑坡图像分类任务中的表现？
• RQ3 模型的主要失败模式是什么？注意力可视化如何有助于诊断误分类？
• RQ4 被动的社交媒体图像流在多大程度上可作为主动公民报告的可扩展、低成本替代方案，用于滑坡监测？
• RQ5 何种系统架构能够实现可靠、实时部署滑坡检测模型，以支持全球应急响应？

主要发现

• 表现最佳的模型在保留的测试集上达到0.701的F1分数，表明尽管与验证集相比F1分数显著下降，但其泛化能力依然很强。
• 模型在验证集（F1: 0.805）和测试集（F1: 0.701）之间表现出明显的性能差距，主要由于测试集中假阳性（128 vs. 42）和假阴性（178 vs. 60）数量增加。
• 类别激活图显示，模型在真正例中成功定位了滑坡特征，并在真负例中避开了误导性区域（如泥泞道路或岩石海滩）。
• 误报和漏报通常发生在模型未能聚焦于相关图像区域，或被视觉上相似但非滑坡的场景误导时。
• 本研究证明，社交媒体图像可作为滑坡检测的可行数据源，模型性能足以支持实际部署。
• 所提出的流水线实现了对社交媒体中滑坡相关图像的持续、自动化监控，支持实时态势感知和应急决策。