[論文レビュー] Concept-based explanations of Segmentation and Detection models in Natural Disaster Management

Samar Heydari, Jawher Said+8 more|arXiv (Cornell University)|Mar 24, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

本論文は LRP ベースの explainability を PIDNet および YOLO アーキテクチャの洪水セグメンテーションと車両検出へ拡張し、PCX プロトタイプを用いて局所的/全体的な概念ベースの説明を提供し、外れ値を識別しつつ UAV でほぼリアルタイムの性能を維持する。

ABSTRACT

Deep learning models for flood and wildfire segmentation and object detection enable precise, real-time disaster localization when deployed on embedded drone platforms. However, in natural disaster management, the lack of transparency in their decision-making process hinders human trust required for emergency response. To address this, we present an explainability framework for understanding flood segmentation and car detection predictions on the widely used PIDNet and YOLO architectures. More specifically, we introduce a novel redistribution strategy that extends Layer-wise Relevance Propagation (LRP) explanations for sigmoid-gated element-wise fusion layers. This extension allows LRP relevances to flow through the fusion modules of PIDNet, covering the entire computation graph back to the input image. Furthermore, we apply Prototypical Concept-based Explanations (PCX) to provide both local and global explanations at the concept level, revealing which learned features drive the segmentation and detection of specific disaster semantic classes. Experiments on a publicly available flood dataset show that our framework provides reliable and interpretable explanations while maintaining near real-time inference capabilities, rendering it suitable for deployment on resource-constrained platforms, such as Unmanned Aerial Vehicles (UAVs).

研究の動機と目的

• DNN を用いた自然災害監視の emergency response における透明性を促進する。
• セグメンテーションと検出のための LRP と概念ベース手法を用いたエンドツーエンドの explainability フレームワークを ND M に対して開発する。
• PIDNet のフュージョン層とゲート付き相互作用を扱うために LRP を拡張する。
• 局所および全体の説明のためにセグメンテーションと検出へ PCX を適用する。
• 洪水データセット上で説明を示しつつ、UAV ハードウェアでのほぼリアルタイム推論を維持する。

提案手法

• PIDNet への Layer-wise Relevance Propagation (LRP) の拡張。残差和、バイリニア補間、およびシグモイドゲート結合層を signal-take-all 再分配ルールで扱う。
• 空間次元を跨いだ特徴マップ relevances を合計して潜在的概念 relevances を算出し、Gaussian Mixture Models でクラスタリングしてプロトタイプを形成する。
• セグメンテーションと検出へ Concept Relevance Propagation (CRP) と Prototypical Concept-based Explanations (PCX) を適用して、概念条件付きヒートマップとプロトタイプを生成する。
• 特徴マップ relevances をサンプル間で削除/挿入して perturbation ベースの評価指標（AOC/AUC）を用いて説明を評価する。
• PCX プロトタイプと最も関連する概念を可視化してモデル戦略を解釈し、外れ値を検出する。
• 洪水セグメンテーションのための PIDNet および車両検出のための YOLOv6s6 を UAV 洪水データセットで実証する。

Figure 1: Perturbation-based evaluation of concept-based explanations. Top : PIDNet flood segmentation, Bottom : YOLOv6s6 car detection. Left : AOC for concept deletion, Right : AUC for concept insertion. The higher the AOC/AUC scores, the better. AOC/AUC scores averaged over all layers are given in

実験結果

リサーチクエスチョン

• RQ1 LRP を PIDNet の融合層とゲート付き層に適用して、計算グラフ全体を通じて忠実な帰属を生成できるか。
• RQ2 PCX は自然災害管理におけるセグメンテーションと検出へ意味のある局所および全体の概念ベースの説明を提供できるか。
• RQ3 概念ベースの説明は多様な予測戦略（プロトタイプ）を示し、災害シナリオで外れ値を識別できるか。
• RQ4 説明は UAV 配備に適したほぼリアルタイムの性能を維持するか。
• RQ5 概念の可視化は ND M データにおける洪水・車両パターンについてどのような洞察を提供するか。

主な発見

• LRP ベースの説明（特に epsilon ルール）は、これらのモデルに対する摂動ベース評価で他の帰属法を上回る。
• PCX プロトタイプは複数の予測戦略を明らかにし（例：異なる車両色や洪水パターン）、異常な予測を外れ値として警告できる。
• 概念ヒートマップとプロトタイプの視覚化は、水の色、植物の近接、洪水パターンなど、意味のある災害関連特徴を特定する。
• フレームワークはリソース制約のある UAV ハードウェア上でほぼリアルタイム推論を実現しつつ、概念ベースの解釋を提供する。
• PCX はテスト予測が低類似度プロトタイプと一致する場合、エンドユーザーに信頼性の問題を警告できる。

Figure 2: PCX prototypes, and their concept contributions, for car detection with YOLOv6s6.