[论文解读] Localizing and Quantifying Damage in Social Media Images

Xukun Li, Huaiyu Zhang+2 more|arXiv (Cornell University)|Jun 9, 2018

Public Relations and Crisis Communication被引用 16

一句话总结

本文提出一种新颖方法，利用微调后的 VGG19 网络上的梯度加权类激活映射（Grad-CAM），对社交媒体灾难图像中的损伤进行定位，并通过连续的损伤评估值（DAV）量化其严重程度。该方法生成可解释的热力图和评分，利用公开获取的目击者图像实现低成本、高分辨率的灾后损伤评估。

ABSTRACT

Traditional post-disaster assessment of damage heavily relies on expensive GIS data, especially remote sensing image data. In recent years, social media has become a rich source of disaster information that may be useful in assessing damage at a lower cost. Such information includes text (e.g., tweets) or images posted by eyewitnesses of a disaster. Most of the existing research explores the use of text in identifying situational awareness information useful for disaster response teams. The use of social media images to assess disaster damage is limited. In this paper, we propose a novel approach, based on convolutional neural networks and class activation maps, to locate damage in a disaster image and to quantify the degree of the damage. Our proposed approach enables the use of social network images for post-disaster damage assessment and provides an inexpensive and feasible alternative to the more expensive GIS approach.

研究动机与目标

• 解决社交媒体灾难图像中缺乏有效损伤定位和连续严重程度量化的问题。
• 克服现有方法依赖离散目标检测或损伤硬标签分类的局限性。
• 通过使用现成的社交媒体图像而非昂贵的遥感数据，实现低成本、实时的灾后损伤评估。
• 通过注意力热力图提供可视化解释，提升对自动化损伤评估的信任度。
• 开发一种连续损伤严重程度度量（DAV），以支持救援工作的优先级排序。

提出的方法

• 微调一个预训练的 VGG19 卷积神经网络（CNN），用于将图像二值分类为“受损”或“未受损”。
• 对训练好的 CNN 最后一个卷积层应用梯度加权类激活映射（Grad-CAM），生成损伤检测图（DDM）热力图。
• 利用 DDM 热力图识别图像中对损伤预测贡献最大的空间区域，提供局部化的视觉注意力。
• 通过平均 DDM 热力图中的值来计算损伤评估值（DAV），获得连续的严重程度评分。
• 在多个灾难数据集（尼泊尔地震、厄瓜多尔地震、鲁比台风、马修飓风）上进行模型训练与评估，采用交叉验证。
• 将 DAV 评分与真实损伤严重程度进行比较，并在二分类和多分类任务中使用准确率和 F1 评分评估性能。

实验结果

研究问题

• RQ1 Grad-CAM 是否能有效适配于社交媒体图像中损伤的高可解释性定位？
• RQ2 能否从注意力热力图中可靠地推导出连续的损伤严重程度评分（DAV），以实现对损伤程度的超越离散类别的量化？
• RQ3 所提出的 DAV 和 DDM 框架在真实世界灾难图像数据集上的性能与现有方法相比如何？
• RQ4 使用社交媒体图像结合可解释性技术，是否可作为传统 GIS 和遥感数据在灾后评估中的可行且低成本的替代方案？
• RQ5 DAV 评分在不同灾难类型和图像质量条件下的鲁棒性如何？

主要发现

• 所提出的 DAV 评分在尼泊尔地震数据集上的平均准确率为 0.801 ± 0.013，厄瓜多尔地震数据集为 0.886 ± 0.018，鲁比台风数据集为 0.793 ± 0.017，马修飓风数据集为 0.533 ± 0.043。
• 基于 VGG19 的模型在性能上优于先前工作[28]中报告的 VGG16 模型，尤其在尼泊尔和厄瓜多尔数据集中表现更优，准确率更高且方差更小。
• DAV 评分与真实损伤严重程度表现出强相关性，实现了超越二分类或多分类的连续损伤量化。
• DDM 热力图成功以高空间精度定位了损伤区域，提供了增强模型预测可信度的可视化可解释性。
• 即使在较小的数据集（如马修飓风）上，该方法也表现出可靠的性能，尽管由于训练数据有限，准确率较低。
• Grad-CAM 与微调后的 VGG19 模型的结合实现了损伤定位与连续严重程度评分的双重功能，为灾害响应提供了一种新颖、可解释且可扩展的解决方案。