[论文解读] Why do These Match? Explaining the Behavior of Image Similarity Models

Bryan A. Plummer, Mariya I. Vasileva+3 more|OpenBU (Boston University)|May 26, 2019

Explainable Artificial Intelligence (XAI)参考文献 43被引用 6

一句话总结

本文提出SANE，一种通过将显著性图与人类可解释的属性配对来解释图像相似度模型的方法，以阐明两幅图像为何被认为相似。通过联合优化显著性-属性对齐并利用属性适用性的先验，SANE在Polyvore Outfits和Animals with Attributes 2数据集的用户研究中，同时提升了解释质量与属性识别性能，优于基线方法。

ABSTRACT

Explaining a deep learning model can help users understand its behavior and allow researchers to discern its shortcomings. Recent work has primarily focused on explaining models for tasks like image classification or visual question answering. In this paper, we introduce Salient Attributes for Network Explanation (SANE) to explain image similarity models, where a model's output is a score measuring the similarity of two inputs rather than a classification score. In this task, an explanation depends on both of the input images, so standard methods do not apply. Our SANE explanations pairs a saliency map identifying important image regions with an attribute that best explains the match. We find that our explanations provide additional information not typically captured by saliency maps alone, and can also improve performance on the classic task of attribute recognition. Our approach's ability to generalize is demonstrated on two datasets from diverse domains, Polyvore Outfits and Animals with Attributes 2. Code available at: https://github.com/VisionLearningGroup/SANE

研究动机与目标

• 解决图像相似度模型缺乏解释方法的问题，这类模型与分类模型有本质区别，需输入两幅图像以生成相似度分数。
• 开发一种黑箱解释方法，识别出图像中显著的区域以及导致相似度分数的有意义属性。
• 通过提供比仅使用显著性图更可解释的解释，提升用户对相似度模型行为的理解。
• 通过利用相似度模型的解释作为弱监督信号，提升属性识别性能。
• 通过在多样化数据集上的用户研究验证解释方法的有效性，衡量准确率与感知帮助度。

提出的方法

• SANE采用黑箱方法，仅需通过相似度模型进行前向传播，因此与模型架构无关。
• 其包含三个组件：输出每个属性置信度分数与激活图的属性预测器、用于识别重要图像区域的显著性图生成器，以及作为正则化项的属性适用性先验。
• 训练过程中，SANE通过最大化显著性图与属性激活图之间的重叠，使解释与模型行为对齐。
• 推理时，通过加权和对解释进行排序：(1) 属性-显著性图相似度，(2) 属性适用性先验，(3) 图像中属性的可能性。
• 该方法可适配现有的基于梯度与基于扰动的显著性方法（如Grad-CAM、LRP、Integrated Gradients）作为显著性图生成器。
• SANE端到端训练，属性预测器与显著性生成器联合优化，以同时提升解释质量与下游属性识别准确率。

实验结果

研究问题

• RQ1 基于属性的解释是否能为图像相似度模型提供比仅使用显著性图更可解释的洞察？
• RQ2 联合优化显著性-属性对齐是否能同时提升解释质量与属性识别性能？
• RQ3 用户如何评价不同解释类型（如显著性图、最可能的属性预测、SANE解释）的有用性与准确性？
• RQ4 不同解释类型的效果是否在不同数据集（如时尚图像与自然图像）之间存在差异？
• RQ5 SANE解释是否能提升用户对相似度模型预测的理解，超越仅使用显著性图所能提供的信息？

主要发现

• 在Polyvore Outfits数据集上，SANE解释将用户准确率提升至68.9%，较对照组提高2.9%，较仅使用最可能属性的方法提高6.4%。
• 在Animals with Attributes 2数据集上，SANE达到61.3%的用户准确率，较对照组提高19.3%，较最可能属性基线提高10.2%。
• 87.5%的用户认为SANE属性解释在AwA数据集上具有帮助，高于最可能属性的69.2%，表明其感知可解释性更高。
• 由于相似度模型解释提供的监督信号，SANE提升了属性识别性能，平均精确率有所提高。
• 在Polyvore Outfits数据集上，结合显著性图与SANE属性的解释获得最高用户准确率（70.0%），但用户认为该组合的有用性（55.6%）低于SANE单独使用。
• 随机显著性图仅被20%的用户认为有帮助，且在某些情况下反而降低了准确率，表明未经引导的显著性图可能误导用户。