[论文解读] Explain to Fix: A Framework to Interpret and Correct DNN Object Detector Predictions

Denis Gudovskiy, Alec Hodgkinson+3 more|arXiv (Cornell University)|Nov 19, 2018

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出 Explain to Fix (E2X)，一种高保真度、计算高效的框架，通过使用基于梯度的反向传播近似 SHAP 特征重要性值，实现对深度神经网络目标检测器预测结果的解释与修正。E2X 的推理速度比先前方法快 10 倍，可实现大规模数据集的可扩展分析，并通过重训练识别缺失的训练特征，从而提升模型鲁棒性。

ABSTRACT

Explaining predictions of deep neural networks (DNNs) is an important and nontrivial task. In this paper, we propose a practical approach to interpret decisions made by a DNN object detector that has fidelity comparable to state-of-the-art methods and sufficient computational efficiency to process large datasets. Our method relies on recent theory and approximates Shapley feature importance values. We qualitatively and quantitatively show that the proposed explanation method can be used to find image features which cause failures in DNN object detection. The developed software tool combined into the "Explain to Fix" (E2X) framework has a factor of 10 higher computational efficiency than prior methods and can be used for cluster processing using graphics processing units (GPUs). Lastly, we propose a potential extension of the E2X framework where the discovered missing features can be added into training dataset to overcome failures after model retraining.

研究动机与目标

• 开发一种实用的、高保真度的方法，用于解释深度神经网络目标检测器的预测结果，识别导致检测失败的特征。
• 实现足够的计算效率，以处理大规模数据集，特别是在监控和自动驾驶等实时应用中。
• 通过解释发现训练数据中缺失或失效的特征，支持通过重训练进行模型修正。
• 将 E2X 框架扩展至自动化数据集管理，通过识别并合成或检索缺失的训练样本。

提出的方法

• 该方法使用基于梯度的反向传播近似 SHAP（Shapley Additive Explanations）特征重要性值，利用特征归因的最新理论进展。
• 该方法将解释框架应用于单阶段目标检测器（SSD），实现对预测失败的空间局部化归因。
• 该方法采用参数化采样策略，每个检测使用 K 个样本，支持在 GPU 上高效批量处理。
• 通过避免逐像素扰动，转而使用基于梯度的显著性图，降低对昂贵前向传播的依赖，从而提升计算效率。
• 该方法与超像素分割相结合，生成可解释的注意力掩码，突出显示影响预测的区域。
• 该框架支持在多个 GPU 上并行化处理，消除了先前方法（如 LIME）中存在的 CPU 瓶颈。

实验结果

研究问题

• RQ1 基于梯度的方法能否在保持计算效率的同时，以高保真度近似 SHAP 值，用于目标检测？
• RQ2 与 PDA、LIME 和 IG 等现有方法相比，所提出的解释方法在准确性和速度方面表现如何？
• RQ3 该解释模型能否可靠地识别目标检测预测中缺失或失效的特征？
• RQ4 所发现的特征在多大程度上可用于通过数据集增强和重训练来提升模型性能？

主要发现

• 与先前最先进方法相比，E2X 在计算效率上实现了 10 倍的提升，相较于 LIME 的速度提升在 9–20× 之间，具体取决于参考模型。
• E2X 与参考模型的特征重要性图之间的相关性（E[ρ]）约为 0.5，与 LIME 相当，显著高于 PDA（E[ρ] ≈ 0.2）和 IG（E[ρ] < 0.01）。
• E2X 在解释质量方面表现出高保真度，其重要性图与参考模型的图高度一致，尤其在识别导致失败的图像区域方面表现优异。
• 该框架支持大规模数据集的可扩展 GPU 并行分析，适用于监控和自动驾驶系统等实际部署场景。
• 该方法成功识别出检测中缺失或失效的特征，可用于扩充训练数据并提升模型泛化能力。
• 所提出的 E2X 框架扩展支持闭环自动化数据集管理，其中解释结果指导缺失训练样本的发现或合成。