[论文解读] A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics

Naveed Akhtar|arXiv (Cornell University)|Jan 31, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文首次系统性地综述了针对深度视觉模型的可解释人工智能（XAI）方法与度量标准，将技术分为事后解释与内在可解释两类，并系统整理了用于评估解释质量的度量指标。文章识别出关键挑战，如相关性与因果性混淆、方法灵感来源与领域不匹配，以及性能与透明度之间的权衡，并倡导建立标准化、严谨的评估框架以推动该领域发展。

ABSTRACT

Deep visual models have widespread applications in high-stake domains. Hence, their black-box nature is currently attracting a large interest of the research community. We present the first survey in Explainable AI that focuses on the methods and metrics for interpreting deep visual models. Covering the landmark contributions along the state-of-the-art, we not only provide a taxonomic organization of the existing techniques, but also excavate a range of evaluation metrics and collate them as measures of different properties of model explanations. Along the insightful discussion on the current trends, we also discuss the challenges and future avenues for this research direction.

研究动机与目标

• 提供针对深度视觉模型的XAI技术分类综述，解决现有文献中缺乏领域特定整合的问题。
• 系统挖掘并组织用于模型解释的评估度量标准，以衡量保真度、忠实度和鲁棒性等不同属性。
• 澄清XAI文献中术语不一致的问题，特别是‘解释’与‘解释’之间的区别，为视觉社区建立一致的框架。
• 识别并分析视觉XAI中的关键挑战，包括相关性与因果性之间的鸿沟、方法设计中的领域不匹配，以及性能-透明度困境。
• 倡导研究重点从开发新型解释方法转向严谨设计和验证评估度量标准及真实基准。

提出的方法

• 将XAI方法分为两大类：事后方法（如通过反向传播或基于梯度的方法生成显著性图）和内在可解释模型（如使用可解释模块或自解释架构）。
• 根据其衡量的属性（如保真度、忠实度、鲁棒性和稳定性）对评估度量标准进行分类，提供一种结构化的比较框架。
• 分析事后可解释性和内在可解释性的代表性方法，包括基于梯度的方法（如Grad-CAM）、基于扰动的方法（如LIME）以及基于博弈论的方法（如Shapley值）。
• 评估现有度量标准的局限性，强调其统计不可靠性和不一致性，如先前研究（如Tomsett et al., 2020）所示，并呼吁开展更严格的验证。
• 讨论模型无关与模型特定方法之间的差异，强调事后方法常无法通过基本合理性检验（如Adebayo et al., 2018），从而削弱对解释结果的信任。
• 提出未来研究应优先发展可靠的评估方案和合成真实基准数据，以实现对解释方法的客观基准测试。

实验结果

研究问题

• RQ1 如何基于其技术路径和基本假设，系统性地对现有深度视觉模型XAI方法进行分类？
• RQ2 用于评估视觉模型解释质量的关键评估度量标准有哪些？它们如何分别衡量保真度、忠实度和鲁棒性等属性？
• RQ3 为何当前的评估度量标准往往无法在不同解释方法之间提供可靠比较？其不一致性的根本原因是什么？
• RQ4 当前XAI技术在多大程度上混淆了相关性与因果性？如何更好地将因果推理整合到解释方法中？
• RQ5 视觉XAI中尚未解决的主要挑战有哪些，包括领域不匹配、性能-透明度权衡以及缺乏真实基准？这些挑战应如何应对？

主要发现

• 视觉模型XAI文献主要由事后方法主导，这些方法解释单个预测结果，但无法降低模型整体的不透明性，引发其长期实用性的担忧。
• 保真度和忠实度等评估度量标准虽被广泛使用，但如先前实证研究所示，其存在统计不可靠性和不一致性。
• 许多解释方法无法通过基本合理性检验——例如，当输入特征被移除时，其生成的显著性图仍保持不变——表明其设计存在根本性缺陷。
• XAI技术的灵感来源（如博弈论、经济学）与视觉领域之间存在显著不匹配，特别是在定义图像特征‘缺失’时，这削弱了路径归因等方法的有效性。
• 尽管监管机构普遍认为透明度至关重要，但当前最先进模型往往为追求性能而牺牲可解释性，表明需要开发能兼顾两者的新架构与训练范式。
• 该领域亟需在评估框架和合成真实基准数据方面开展专门研究，以实现对解释方法的客观、可重复且可信的基准测试。