[论文解读] ECLAD : Extracting Concepts with Local Aggregated Descriptors

Andrés Felipe Posada-Moreno, Nikita Surya+1 more|arXiv (Cornell University)|Jan 1, 2022

Explainable Artificial Intelligence (XAI)被引用 2

一句话总结

ECLAD 是一种新颖的概念提取方法，通过在多个网络层上聚合像素级激活图，利用局部聚合描述符（LADs）从卷积神经网络（CNNs）中提取并定位视觉概念。该方法可实现新图像中概念的精确定位，并引入基于合成数据集的定量验证框架，在概念正确性和重要性评分方面优于当前最先进方法。

ABSTRACT

Convolutional neural networks (CNNs) are increasingly being used in critical systems, where robustness and alignment are crucial. In this context, the field of explainable artificial intelligence has proposed the generation of high-level explanations of the prediction process of CNNs through concept extraction. While these methods can detect whether or not a concept is present in an image, they are unable to determine its location. What is more, a fair comparison of such approaches is difficult due to a lack of proper validation procedures. To address these issues, we propose a novel method for automatic concept extraction and localization based on representations obtained through pixel-wise aggregations of CNN activation maps. Further, we introduce a process for the validation of concept-extraction techniques based on synthetic datasets with pixel-wise annotations of their main components, reducing the need for human intervention. Extensive experimentation on both synthetic and real-world datasets demonstrates that our method outperforms state-of-the-art alternatives.

研究动机与目标

• 为解决现有概念提取（CE）方法缺乏定位能力的问题，即只能检测概念是否存在，而无法确定其在图像中的位置。
• 通过使用带有像素级标注的合成数据集，引入一种定量、自动化的验证程序，克服 CE 方法评估中的主观性和不一致性。
• 提升关键应用（如医学诊断和工业质量控制）中 CNN 解释的可靠性和可解释性。
• 提供一种可扩展且客观的基准，用于比较不同 CE 技术，减少对人工视觉检查的依赖。
• 通过集成重要性评分和空间定位，实现对学习特征的全局理解与单个预测的局部解释。

提出的方法

• 通过聚合训练好的 CNN 多个中间层的特征图，提取局部聚合描述符（LADs），捕捉像素级激活的多尺度空间表征。
• 对整个训练数据集的 LADs 应用聚类（如 k-means），以发现对应于学习到的视觉概念的独立模式。
• 在推理阶段，通过计算测试图像 LADs 与聚类中心之间的相似性图，并结合掩码操作，突出显示相关区域，实现概念的定位。
• 通过在定位区域内聚合像素级敏感性（如梯度）计算概念重要性评分，实现局部与全局解释的衔接。
• 设计一种合成数据集生成流程，创建具有真实像素级标注的受控数据，支持客观评估。
• 提出两个新指标——概念表征正确性与概念重要性准确性——基于真实标注，对 CE 性能进行定量评估。

实验结果

研究问题

• RQ1 概念提取方法能否在 CNN 预测中同时实现准确的概念检测与精确的空间定位？
• RQ2 如何在不依赖主观人类判断的情况下，客观评估概念提取技术的性能？
• RQ3 在已知标注的合成数据集中，不同 CE 方法与真实视觉概念的对齐程度如何？
• RQ4 网络层的选择与聚合策略如何影响提取概念的质量与可解释性？
• RQ5 能否建立统一的验证框架，通过一致且可扩展的指标，公平比较多种 CE 方法？

主要发现

• 在全部六个合成数据集上，ECLAD 在概念表征正确性方面优于当前最先进方法（ACE 和 ConceptShap），在识别正确视觉线索方面保持一致的高准确率。
• ECLAD 生成的重要性评分更准确地反映了特征的预期相关性，对概念相关特征赋予高分，对无关特征赋予低分，经真实标注验证有效。
• ECLAD 实现了优越的定位性能，能够精确识别合成数据集和真实世界数据集中与划痕、针孔和变形边缘等概念对应的区域。
• 所提出的基于合成数据集和定量指标的验证框架，实现了 CE 方法的可靠、可重复且可扩展的基准测试，减少了对主观人工评估的依赖。
• ECLAD 随类别数量线性扩展，在复杂多概念数据集上仍保持高性能，展现出强大的鲁棒性与泛化能力。
• 消融研究证实，使用多层特征并采用合适的插值方法可提升概念质量并减少伪影效应，而粗粒度插值虽影响边界但不破坏概念完整性。