[论文解读] Interactive Naming for Explaining Deep Neural Networks: A Formative Study

Mandana Hamidi‐Haines, Zhongang Qi+3 more|arXiv (Cornell University)|Dec 18, 2018

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出了一种人机协同的命名方法（interactive naming），通过轻量级解释网络（xNN）识别深度神经网络中的显著激活图，使人类标注者能够对这些特征进行聚类并命名，形成可解释的视觉概念。研究展示了高水平的标注者间一致性与强大的语义覆盖度，表明大多数激活对应于可识别的视觉概念，显著提升了图像分类任务中模型的可解释性。

ABSTRACT

We consider the problem of explaining the decisions of deep neural networks for image recognition in terms of human-recognizable visual concepts. In particular, given a test set of images, we aim to explain each classification in terms of a small number of image regions, or activation maps, which have been associated with semantic concepts by a human annotator. This allows for generating summary views of the typical reasons for classifications, which can help build trust in a classifier and/or identify example types for which the classifier may not be trusted. For this purpose, we developed a user interface for "interactive naming," which allows a human annotator to manually cluster significant activation maps in a test set into meaningful groups called "visual concepts". The main contribution of this paper is a systematic study of the visual concepts produced by five human annotators using the interactive naming interface. In particular, we consider the adequacy of the concepts for explaining the classification of test-set images, correspondence of the concepts to activations of individual neurons, and the inter-annotator agreement of visual concepts. We find that a large fraction of the activation maps have recognizable visual concepts, and that there is significant agreement between the different annotators about their denotations. Our work is an exploratory study of the interplay between machine learning and human recognition mediated by visualizations of the results of learning.

研究动机与目标

• 通过将模型激活与人类可理解的视觉概念关联，提升图像识别任务中深度神经网络决策的可解释性。
• 探究人类标注者是否能够一致地从DNN关键神经元的激活图中识别并命名有意义的视觉概念。
• 评估通过激活图交互聚类所生成的语义解释的质量，以及标注者间的一致性。
• 探索利用人类生成的视觉概念作为基础，对测试集中模型行为进行高层次总结的可行性。
• 为未来在DNN解释中开展主动学习与交互式概念学习研究奠定基础。

提出的方法

• 在原始DNN基础上增加一个稀疏解释网络（xNN），该网络通过一个更小的“X-features”全连接层来模拟DNN的预测结果。
• 从每个测试图像的xNN中提取显著激活图，重点关注全连接层中最具影响力的神经元。
• 设计一个交互式用户界面，以可视化方式展示特定类别下所有X-features的激活图，支持灵活的聚类与命名操作。
• 允许标注者根据视觉相似性与语义一致性，对激活图进行分组、重命名、合并、丢弃或保持未聚类状态。
• 利用最终命名的聚类（即视觉概念）生成针对测试集预测的人类可读解释。
• 通过标注者间一致性、语义覆盖度以及与语言名称的自动匹配度，评估命名质量。

实验结果

研究问题

• RQ1 RQ1：有多少比例的显著激活图可以被人类标注者有意义地命名？
• RQ2 RQ2：不同标注者在识别和分组视觉概念时的命名一致性如何？
• RQ3 RQ3：标注者识别出的视觉概念在多大程度上对应于网络中实际的神经元激活？
• RQ4 RQ4：自动匹配系统在多大程度上能准确映射不同标注者命名之间的语义关系？
• RQ5 RQ5：所生成的视觉概念是否可用于生成对测试集上模型行为的有意义、高层次的总结？

主要发现

• 超过56%的类别'a'测试集预测由视觉概念对（'eye', 'close wing'）解释，表明模型在这些区域具有显著关注。
• 对于类别'l'，超过88%的预测由单一概念'eye'解释，表明模型在分类时严重依赖该特征。
• 标注者在决定命名哪些激活图方面表现出高度一致性，全局平均F1得分为0.57，表明在有意义聚类上存在强共识。
• 自动匹配结果与人工标注名称之间的平均一致度达到0.978（F1），表明与人类语义高度对齐。
• 超过50%的激活图（平均）被成功赋予有意义的名称，使得大多数测试图像能够获得部分语义解释。
• 尽管存在部分分歧，但大多数视觉概念在不同标注者间被一致识别，表明交互式命名过程具有稳健性与可靠性。