[论文解读] LICO: Explainable Models with Language-Image Consistency

Yiming Lei, Zilong Li+3 more|arXiv (Cornell University)|Oct 15, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

LICO 提出了一种新颖的框架，通过粗到细的流形与最优传输对齐，将视觉特征与可学习的、特定于类别的语言提示对齐，从而增强可解释性图像分类。该方法在不增加推理开销的情况下，提升了显著性图的可解释性与分类准确率，在八个基准数据集上优于现有方法，同时保持与 Grad-CAM 等事后解释技术的兼容性。

ABSTRACT

Interpreting the decisions of deep learning models has been actively studied since the explosion of deep neural networks. One of the most convincing interpretation approaches is salience-based visual interpretation, such as Grad-CAM, where the generation of attention maps depends merely on categorical labels. Although existing interpretation methods can provide explainable decision clues, they often yield partial correspondence between image and saliency maps due to the limited discriminative information from one-hot labels. This paper develops a Language-Image COnsistency model for explainable image classification, termed LICO, by correlating learnable linguistic prompts with corresponding visual features in a coarse-to-fine manner. Specifically, we first establish a coarse global manifold structure alignment by minimizing the distance between the distributions of image and language features. We then achieve fine-grained saliency maps by applying optimal transport (OT) theory to assign local feature maps with class-specific prompts. Extensive experimental results on eight benchmark datasets demonstrate that the proposed LICO achieves a significant improvement in generating more explainable attention maps in conjunction with existing interpretation methods such as Grad-CAM. Remarkably, LICO improves the classification performance of existing models without introducing any computational overhead during inference. Source code is made available at https://github.com/ymLeiFDU/LICO.

研究动机与目标

• 解决事后解释方法中 one-hot 标签语义贫乏的问题，该问题导致图像区域与显著性图之间对应关系微弱。
• 通过整合 CLIP 等大规模视觉-语言模型（VLM）中的现实世界语义知识，提升深度学习模型的可解释性。
• 通过可学习提示机制，实现视觉特征流形与类别感知语言表征之间的一致对齐。
• 通过最优传输理论，将局部特征图与特定类别提示对齐，实现细粒度显著性图生成。
• 在保持推理阶段零计算开销的前提下，提升分类性能。

提出的方法

• 引入可学习的、特定于类别的提示，利用预训练的 CLIP 文本编码器将其嵌入连续空间，以连接语言与视觉。
• 通过对比损失在全局层面实现图像与文本特征分布之间的流形对齐，确保语义一致性。
• 应用最优传输（OT）理论，将局部特征图与对应类别提示匹配，实现细粒度注意力定位。
• 使用结合交叉熵、流形匹配与 OT 对齐的多任务损失，联合优化分类与可解释性。
• 通过可训练的 MLP 将 CLIP 嵌入提示投影到图像特征空间，实现在共享度量空间中的对齐。
• 通过作为即插即用模块，与现有事后方法（如 Grad-CAM）兼容，以优化显著性图。

实验结果

研究问题

• RQ1 将来自大规模 VLM 的语言引导提示引入，能否提升深度学习模型中显著性图的一致性与可解释性？
• RQ2 将视觉特征流形与类别感知语言表征对齐，是否能带来更好的分类性能与更精确的注意力定位？
• RQ3 最优传输能否有效用于细化局部特征图与类别提示之间的分配，以提升解释的保真度？
• RQ4 所提方法是否在提升模型性能与可解释性的同时，保持推理效率？
• RQ5 与现有基于提示与事后解释方法相比，LICO 在少样本与全监督设置下的表现如何？

主要发现

• 在全监督设置下，LICO 在 CUB-200 上达到 82.7% 的 top-1 准确率，优于基线（80.1%）与 +CGC 基线（81.5%）。
• 在 Stanford Cars 上，LICO 在全监督设置下达到 91.5% 的 top-1 准确率，超过基线（89.7%）与 +CGC（90.3%）。
• 在 1-shot 学习设置下，LICO 相较于基线，在 CUB-200 上提升 3.2% 准确率，在 Stanford Cars 上提升 1.0%。
• 消融研究证实，流形匹配（L_MM）与 OT 对齐（L_OT）均至关重要，两者结合时性能最高（top-1 准确率为 76.27%）。
• 在流形匹配中使用欧氏距离优于余弦相似度，在 CIFAR-100 上提升 0.32%。
• 在 CUB-200 上，LICO 达到最高的插入与删除得分（分别为 57.1 与 15.1），表明其显著性图质量与鲁棒性更优。