[论文解读] Overview of Class Activation Maps for Visualization Explainability

Anh Pham Thi Minh|arXiv (Cornell University)|Sep 25, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文对计算机视觉中的类激活图（CAMs）进行了全面综述，追溯其演变历程、评估指标及增强技术，以提升深度学习模型的可解释性。本文综合现有方法，利用标准指标评估CAM质量，并指明可解释人工智能在视觉系统中的未来研究方向。

ABSTRACT

Recent research in deep learning methodology has led to a variety of complex modelling techniques in computer vision (CV) that reach or even outperform human performance. Although these black-box deep learning models have obtained astounding results, they are limited in their interpretability and transparency which are critical to take learning machines to the next step to include them in sensitive decision-support systems involving human supervision. Hence, the development of explainable techniques for computer vision (XCV) has recently attracted increasing attention. In the realm of XCV, Class Activation Maps (CAMs) have become widely recognized and utilized for enhancing interpretability and insights into the decision-making process of deep learning models. This work presents a comprehensive overview of the evolution of Class Activation Map methods over time. It also explores the metrics used for evaluating CAMs and introduces auxiliary techniques to improve the saliency of these methods. The overview concludes by proposing potential avenues for future research in this evolving field.

研究动机与目标

• 提供对类激活图（CAMs）在可解释计算机视觉中发展与应用的系统性综述。
• 识别并分析用于评估CAM质量与可解释性的关键评估指标。
• 调查用于提升CAM显著性与定位准确性的辅助技术。
• 指出当前CAM方法的局限性，并为可解释人工智能的未来研究提出有前景的方向。

提出的方法

• 从原始CAM到Grad-CAM、Grad-CAM++和Score-CAM等高级变体，系统梳理基于CAM的方法的时序演化。
• 根据反向传播机制与特征融合策略，对CAM技术进行分类与比较。
• 采用标准指标（如定位准确率、交并比（IoU）和AUC-ROC）评估CAM质量。
• 引入引导反向传播与引导Grad-CAM等辅助技术，以优化CAM的显著性并突出判别性特征。
• 分析支持CAM生成的模型架构要求，包括全局平均池化层。
• 综合近期文献的见解，识别CAM可解释性中的研究空白与机遇。

实验结果

研究问题

• RQ1 从架构与性能角度，类激活图方法如何从原始CAM演进为更先进的变体？
• RQ2 哪些指标最有效地客观评估CAM的质量与可解释性？
• RQ3 哪些辅助技术能显著提升深度神经网络中CAM的定位与视觉清晰度？
• RQ4 当前CAM方法在真实视觉应用中存在哪些关键局限性？
• RQ5 未来研究应聚焦哪些方向，以增强基于CAM的可解释性在计算机视觉中的鲁棒性、泛化能力与可靠性？

主要发现

• 类激活图已从基于全局平均池化的简单方法，演进为更先进的注意力机制与梯度驱动方法，显著提升了定位准确率。
• IoU与AUC-ROC等评估指标被广泛采用以定量评估CAM质量，数值越高表示特征定位越精确。
• 引导反向传播与基于梯度的优化等辅助技术显著增强了CAM的视觉显著性与类别判别聚焦能力。
• 尽管有所改进，许多CAM方法仍对模型架构敏感，且需特定设计约束（如全局平均池化层）。
• 本文指出亟需开发更鲁棒、架构无关且可泛化的CAM方法，以在多样化视觉任务中保持高水平可解释性。
• 未来研究应聚焦提升CAM在分布偏移、模型不确定性与真实部署约束下的可靠性。