[论文解读] Concept-based explanations of Segmentation and Detection models in Natural Disaster Management

Samar Heydari, Jawher Said+8 more|arXiv (Cornell University)|Mar 24, 2026

Adversarial Robustness in Machine Learning被引用 0

一句话总结

该论文将基于LRP的可解释性扩展到PIDNet和YOLO架构，用于洪水分割和汽车检测，利用PCX原型提供局部/全局基于概念的解释并识别异常值，同时在无人机上维持近实时性能。

ABSTRACT

Deep learning models for flood and wildfire segmentation and object detection enable precise, real-time disaster localization when deployed on embedded drone platforms. However, in natural disaster management, the lack of transparency in their decision-making process hinders human trust required for emergency response. To address this, we present an explainability framework for understanding flood segmentation and car detection predictions on the widely used PIDNet and YOLO architectures. More specifically, we introduce a novel redistribution strategy that extends Layer-wise Relevance Propagation (LRP) explanations for sigmoid-gated element-wise fusion layers. This extension allows LRP relevances to flow through the fusion modules of PIDNet, covering the entire computation graph back to the input image. Furthermore, we apply Prototypical Concept-based Explanations (PCX) to provide both local and global explanations at the concept level, revealing which learned features drive the segmentation and detection of specific disaster semantic classes. Experiments on a publicly available flood dataset show that our framework provides reliable and interpretable explanations while maintaining near real-time inference capabilities, rendering it suitable for deployment on resource-constrained platforms, such as Unmanned Aerial Vehicles (UAVs).

研究动机与目标

• 在应急响应中推动基于DNN的自然灾害监测透明化。
• 使用LRP和基于概念的方法，开发端到端的分割与检测可解释性框架。
• 扩展LRP以处理PIDNet的融合层和门控交互。
• 将PCX应用于分割和检测，以获得局部与全局解释。
• 在洪水数据集上演示解释，同时在无人机硬件上保持近实时推理。

提出的方法

• 将Layer-wise Relevance Propagation (LRP)扩展到PIDNet，包括残差求和、双线性插值和sigmoid门控融合层，使用信号-全分配规则。
• 通过在空间维度对特征图的相关性求和并进行高斯混合模型聚类来形成原型，从而计算潜在概念相关性。
• 将Concept Relevance Propagation (CRP)和Prototypical Concept-based Explanations (PCX)应用于分割和检测，生成概念条件的热力图和原型。
• 通过对样本间删除/插入特征图相关性进行扰动评估（AOC/AUC）来评估解释的有效性。
• 可视化PCX原型及其最相关的概念，以解释模型策略并检测异常值。
• 在洪水分割的PIDNet以及用于汽车检测的YOLOv6s6上演示结果，数据集为无人机洪水数据集。

Figure 1: Perturbation-based evaluation of concept-based explanations. Top : PIDNet flood segmentation, Bottom : YOLOv6s6 car detection. Left : AOC for concept deletion, Right : AUC for concept insertion. The higher the AOC/AUC scores, the better. AOC/AUC scores averaged over all layers are given in

实验结果

研究问题

• RQ1 如何将LRP适配到PIDNet的融合和门控层，以在整个计算图中产生忠实的归因？
• RQ2 PCX是否能为自然灾害管理中的分割和检测提供有意义的局部与全局概念级解释？
• RQ3 概念级解释是否揭示出判别策略的不同原型并在灾害场景中识别异常值？
• RQ4 这些解释是否能在接近实时的性能下适用于无人机部署？
• RQ5 概念可视化能提供关于NDM数据中洪水与车辆模式的哪些洞见？

主要发现

• 基于LRP的解释（尤其是epsilon规则）在对这些模型进行扰动评估时优于其他归因方法。
• PCX原型揭示了多种预测策略（例如不同车辆颜色和洪水模式），并能将异常预测标记为离群值。
• 概念热力图和原型可视化识别出有意义且与灾害相关的特征，如水的颜色、植被接近度和洪水模式。
• 该框架在资源受限的无人机硬件上实现近实时推理，同时提供可解释的、基于概念的解释。
• 当测试预测与低相似度原型一致时，PCX可提醒最终用户潜在的可靠性问题。

Figure 2: PCX prototypes, and their concept contributions, for car detection with YOLOv6s6.