[논문 리뷰] Concept-based explanations of Segmentation and Detection models in Natural Disaster Management

Samar Heydari, Jawher Said외 8명|arXiv (Cornell University)|2026. 03. 24.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

이 논문은 LRP 기반 설명 가능성을 홍수 분할 및 자동차 탐지를 위해 PIDNet 및 YOLO 아키텍처로 확장하고, PCX 프로토타입을 사용하여 지역/전역 개념 기반 설명을 제공하며 UAV에서 거의 실시간 성능을 유지하면서 이상치를 식별합니다.

ABSTRACT

Deep learning models for flood and wildfire segmentation and object detection enable precise, real-time disaster localization when deployed on embedded drone platforms. However, in natural disaster management, the lack of transparency in their decision-making process hinders human trust required for emergency response. To address this, we present an explainability framework for understanding flood segmentation and car detection predictions on the widely used PIDNet and YOLO architectures. More specifically, we introduce a novel redistribution strategy that extends Layer-wise Relevance Propagation (LRP) explanations for sigmoid-gated element-wise fusion layers. This extension allows LRP relevances to flow through the fusion modules of PIDNet, covering the entire computation graph back to the input image. Furthermore, we apply Prototypical Concept-based Explanations (PCX) to provide both local and global explanations at the concept level, revealing which learned features drive the segmentation and detection of specific disaster semantic classes. Experiments on a publicly available flood dataset show that our framework provides reliable and interpretable explanations while maintaining near real-time inference capabilities, rendering it suitable for deployment on resource-constrained platforms, such as Unmanned Aerial Vehicles (UAVs).

연구 동기 및 목표

• DNN 기반 자연재해 모니터링의 투명성 촉진을 위한 긴급 대응.
• NDM에서의 분할 및 탐지에 대해 LRP 및 개념 기반 방법을 활용한 엔드-투-엔드 설명가능성 프레임워크 개발.
• PIDNet 융합 계층 및 게이트 처리 상호작용을 다루도록 LRP 확장.
• 세분화 및 탐색에 PCX를 적용하여 지역 및 글로벌 설명 제공.
• UAV 하드웨어에서 거의 실시간 추론을 유지하면서 홍수 데이터세트에 대한 설명을 시연합니다.

제안 방법

• PIDNet에 Layer-wise Relevance Propagation (LRP)을 확장하되 잔차 합, 양선형 보간, 시그모이드 게이트 융합 계층을 신호-모두 재분배 규칙을 사용하여 처리합니다.
• 공간 차원을 따라 피처 맵 relevances를 합산하고 Gaussian Mixture Models로 클러스터링하여 프로토타입을 형성함으로써 잠재 개념 관련성을 계산합니다.
• 세분화 및 탐지에 Concept Relevance Propagation (CRP) 및 Prototypical Concept-based Explanations (PCX)을 적용하여 컨셉-조건부 히트맵과 프로토타입을 생성합니다.
• 피처 맵 relevances를 샘플 간에 삭제/삽입하여 perturbation 기반 메트릭(AOC/AUC)으로 설명을 평가합니다.
• PCX 프로토타입과 가장 관련성이 높은 컨셉을 시각화하여 모델 전략을 해석하고 이상치를 탐지합니다.
• 홍수 분할에 대한 PIDNet 및 UAV 홍수 데이터셋에서의 자동차 탐지에 대해 YOLOv6s6로 결과를 시연합니다.

Figure 1: Perturbation-based evaluation of concept-based explanations. Top : PIDNet flood segmentation, Bottom : YOLOv6s6 car detection. Left : AOC for concept deletion, Right : AUC for concept insertion. The higher the AOC/AUC scores, the better. AOC/AUC scores averaged over all layers are given in

실험 결과

연구 질문

• RQ1 LRP를 PIDNet의 융합 및 게이트 계층에 맞게 조정하여 전체 계산 그래프를 통해 충실한 속성을 생성할 수 있는가?
• RQ2 PCX가 자연재해 관리에서의 세분화 및 탐전에 대해 의미 있는 지역 및 글로벌 컨셉 기반 설명을 제공할 수 있는가?
• RQ3 개념 기반 설명이 재해 상황에서 서로 다른 예측 전략(프로토타입)을 드러내고 이상치를 식별하는가?
• RQ4 설명들이 UAV 배치에 적합한 거의 실시간 성능을 유지하는가?
• RQ5 개념 시각화가 NDM 데이터에서 홍수 및 차량 패턴에 대한 어떤 통찰을 제공하는가?

주요 결과

• LRP 기반 설명은 특히 epsilon 규칙을 사용할 때 이 모델들에 대해 perturbation 기반 평가에서 다른 귀속 방법보다 우수합니다.
• PCX 프로토타입은 여러 예측 전략(예: 서로 다른 차량 색상 및 홍수 패턴)을 드러내고 비정상적인 예측을 이상치로 표시할 수 있습니다.
• 컨셉 히트맵과 프로토타입 시각화는 물 색, 식생과의 거리, 홍수 패턴과 같은 의미 있고 재난 관련 기능을 식별합니다.
• 자원 제약이 있는 UAV 하드웨어에서도 거의 실시간 추론을 달성하면서 해석 가능하고 컨셉 기반의 설명을 제공합니다.
• PCX는 테스트 예측이 낮은 유사성 프로토타입과 일치할 때 최종 사용자에게 경고를 제공하여 신뢰성 문제를 시사할 수 있습니다.

Figure 2: PCX prototypes, and their concept contributions, for car detection with YOLOv6s6.