[论文解读] A Novel Explainable Artificial Intelligence Model in Image Classification problem

Quoc Hung Cao, Truong Thanh Hung Nguyen+2 more|arXiv (Cornell University)|Jul 9, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出 SeCAM，一种新颖的局部事后可解释人工智能方法，用于图像分类，结合了 LIME 的人类对齐定位与 CAM 的速度优势，利用图像分割识别显著区域。该方法在不修改模型架构的前提下，实现了准确、快速（每张图像约 2 秒）、稳定的解释，其在速度和可解释性方面优于 LIME 和 CAM。

ABSTRACT

In recent years, artificial intelligence is increasingly being applied widely in many different fields and has a profound and direct impact on human life. Following this is the need to understand the principles of the model making predictions. Since most of the current high-precision models are black boxes, neither the AI scientist nor the end-user deeply understands what's going on inside these models. Therefore, many algorithms are studied for the purpose of explaining AI models, especially those in the problem of image classification in the field of computer vision such as LIME, CAM, GradCAM. However, these algorithms still have limitations such as LIME's long execution time and CAM's confusing interpretation of concreteness and clarity. Therefore, in this paper, we propose a new method called Segmentation - Class Activation Mapping (SeCAM) that combines the advantages of these algorithms above, while at the same time overcoming their disadvantages. We tested this algorithm with various models, including ResNet50, Inception-v3, VGG16 from ImageNet Large Scale Visual Recognition Challenge (ILSVRC) data set. Outstanding results when the algorithm has met all the requirements for a specific explanation in a remarkably concise time.

研究动机与目标

• 解决现有 XAI 方法在图像分类中缺乏快速、准确且稳定的解释的问题。
• 克服 LIME 的高计算成本以及 CAM 的广泛且不精确的激活图问题。
• 开发一种事后、模型无关的方法，在大幅降低推理时间的同时保持可解释性。
• 实现直观的、基于分割的解释，使其与人类对图像中物体的感知相一致。
• 提供一种可泛化的框架，适用于各种深度学习模型，且无需修改网络架构。

提出的方法

• 使用 SLIC 算法对输入图像进行超像素分割，以划分为具有感知意义的区域。
• 基于梯度信息，为每个分割区域计算类别激活得分，类似于 GradCAM 的方法。
• 通过特征图的加权聚合，识别对预测类别最具影响力的区域。
• 在原始图像上生成热力图叠加，其中每个区域的颜色强度反映其对预测结果的贡献程度。
• 通过不依赖模型架构变更，确保方法的模型无关性，从而可应用于任意预训练分类器。
• 将分割与激活映射相结合，生成人类可读、定位精确且高效的解释。

Figure 1 : The segmented image for the input image (Figure 2a)

实验结果

研究问题

• RQ1 基于分割的 XAI 方法是否能在推理时间上达到 CAM 的速度水平，同时实现 LIME 级别的可解释性？
• RQ2 SeCAM 的解释质量在定位准确性和人类对齐性方面与 LIME 和 CAM 相比如何？
• RQ3 分割算法的选择（如 SLIC 与 quickshift）是否显著影响模型解释的可靠性？
• RQ4 SeCAM 是否能在不修改架构的前提下，为多种图像类别和模型提供稳定且安全的解释？
• RQ5 SeCAM 的框架在多大程度上可泛化，以改进计算机视觉领域其他 XAI 方法？

主要发现

• SeCAM 平均每张图像的解释时间约为 2 秒，显著快于 LIME 的约 200 秒。
• 定性分析和用户调查均证实，SeCAM 的解释在某些图像实例中比 LIME 更加稳定且偏差更小。
• 该方法生成了与人类标注者定义的边界框高度一致的人类对齐解释，优于 CAM 的过度宽泛激活区域。
• 不同分割算法（如 SLIC 与 quickshift）产生的分割结果各异，但 SeCAM 始终能准确识别与目标相关的区域，表明其对分割选择具有鲁棒性。
• 在定量评估中，SeCAM 在定位准确性和推理速度方面均优于 LIME 和 CAM，尤其在 ResNet50、Inception-v3 和 VGG16 模型上表现更优。
• 用户调查确认，SeCAM 的解释被感知为比 LIME 和 CAM 更直观、更可信。

(a) Input image