[论文解读] Interpretable Image Recognition with Hierarchical Prototypes

Peter Hase, Chaofan Chen+2 more|arXiv (Cornell University)|Jun 25, 2019

Domain Adaptation and Few-Shot Learning被引用 25

一句话总结

本文提出分层原型网络（HPnet），一种深度学习模型，通过在预定义分类体系的每一层学习视觉原型，实现在多层级分类体系中的可解释图像分类。该模型在性能上可与黑箱模型相媲美，同时通过局部注意力图提供人类可理解的解释，并能通过在粗粒度分类层级上进行分类来检测新类别，例如即使在训练中仅见过步枪，也能将手枪识别为武器。

ABSTRACT

Vision models are interpretable when they classify objects on the basis of features that a person can directly understand. Recently, methods relying on visual feature prototypes have been developed for this purpose. However, in contrast to how humans categorize objects, these approaches have not yet made use of any taxonomical organization of class labels. With such an approach, for instance, we may see why a chimpanzee is classified as a chimpanzee, but not why it was considered to be a primate or even an animal. In this work we introduce a model that uses hierarchically organized prototypes to classify objects at every level in a predefined taxonomy. Hence, we may find distinct explanations for the prediction an image receives at each level of the taxonomy. The hierarchical prototypes enable the model to perform another important task: interpretably classifying images from previously unseen classes at the level of the taxonomy to which they correctly relate, e.g. classifying a hand gun as a weapon, when the only weapons in the training data are rifles. With a subset of ImageNet, we test our model against its counterpart black-box model on two tasks: 1) classification of data from familiar classes, and 2) classification of data from previously unseen classes at the appropriate level in the taxonomy. We find that our model performs approximately as well as its counterpart black-box model while allowing for each classification to be interpreted.

研究动机与目标

• 开发一种可解释的图像识别模型，通过在分类体系的多个层级上使用人类可理解的视觉特征来解释预测结果。
• 通过将图像分配到更广泛的已知分类层级（例如，将新型枪械分类为武器），实现对先前未见过类别的图像分类。
• 在分类体系的每一层级提供局部化、基于注意力的解释，例如识别哪些图像区域激活了“灵长类”或“卷尾猴”的原型。
• 在保持与黑箱模型相当的性能的同时，通过分层原型学习增强透明度和诊断能力。
• 评估模型检测新类别并泛化到训练期间未见过的粗粒度分类层级的能力。

提出的方法

• 该模型使用共享卷积特征的深度神经网络，其中在预定义的类别分类体系（例如：动物 → 灵长类 → 卷尾猴）的每一层级学习分层原型。
• 原型嵌入在潜在空间中，并通过两阶段训练过程进行优化：先端到端微调卷积层，随后通过凸优化进一步精炼原型位置。
• 每5个周期执行一次投影阶段，以确保原型保持在数据流形附近，从而提高稳定性和可解释性。
• 模型采用基于原型的分类器，通过计算图像特征与原型之间的注意力分数，生成热力图以定位每个类别预测的相关图像区域。
• 训练了一个新颖的类别检测头，用于判断图像是否属于已知的细粒度类别，或属于已知粗粒度类别的先前未见子类。
• 应用数据增强和领域自适应（CEDA）以提升泛化能力，尤其在新类别检测方面。

实验结果

研究问题

• RQ1 视觉模型能否在性能上与黑箱模型相当的同时，为图像分类提供可解释的分层解释？
• RQ2 模型能否通过将图像分配到适当的粗粒度分类层级（例如，将新型枪械分类为武器）来正确分类先前未见过类别的图像？
• RQ3 所学习的原型在多大程度上能准确定位相关图像区域？这些定位是否可用于诊断模型错误？
• RQ4 分层原型结构是否能提升模型检测新类别能力，同时保持对已知类别的准确率？
• RQ5 模型在分类体系不同层级上的性能表现如何，特别是在细粒度与粗粒度准确率方面？

主要发现

• HPnet在分布内数据上的细粒度准确率达到82.61%（F-ID），与黑箱VGG-16模型（82.19%）相当。
• 在分布内数据上，模型的粗粒度准确率达到93.57%（C-ID），表明其在高层级分类预测中表现强劲。
• 对于新类别数据，HPnet在粗粒度分类上达到62.16%的准确率（C-Novel），证明其能将未见过的子类正确归入已知的更广泛类别。
• 通过测量原型最近邻中与原型同类别样本的比例，评估潜在空间聚类质量，结果为79.24%，表明原型分布清晰且具有语义意义。
• 通过PbThreshold方法，模型成功以52.05%的准确率检测新类别，使用CEDA后提升至51.22%，表明在新类别检测方面具有鲁棒性。
• 通过热力图生成的视觉解释显示，激活度最高的原型能准确定位语义相关的图像区域（例如，武器图像中的枪管和手部），从而为误分类提供诊断性洞察。