[论文解读] Interpreting Deep Classifier by Visual Distillation of Dark Knowledge

Kai Xu, Dae Hoon Park+2 more|arXiv (Cornell University)|Mar 11, 2018

Explainable Artificial Intelligence (XAI)参考文献 28被引用 17

一句话总结

本文提出 DarkSight，一种新颖的可视化方法，通过将深度分类器的预测概率分布蒸馏为低维嵌入，以解释其行为。通过联合执行模型压缩与降维，DarkSight 保留了聚类结构、全局关系、异常值以及局部保真度，在 MNIST、CIFAR-10 和 CIFAR-100 数据集上，其在揭示分类器置信度、混淆模式及异常预测方面优于 t-SNE。

ABSTRACT

Interpreting black box classifiers, such as deep networks, allows an analyst to validate a classifier before it is deployed in a high-stakes setting. A natural idea is to visualize the deep network's representations, so as to "see what the network sees". In this paper, we demonstrate that standard dimension reduction methods in this setting can yield uninformative or even misleading visualizations. Instead, we present DarkSight, which visually summarizes the predictions of a classifier in a way inspired by notion of dark knowledge. DarkSight embeds the data points into a low-dimensional space such that it is easy to compress the deep classifier into a simpler one, essentially combining model compression and dimension reduction. We compare DarkSight against t-SNE both qualitatively and quantitatively, demonstrating that DarkSight visualizations are more informative. Our method additionally yields a new confidence measure based on dark knowledge by quantifying how unusual a given vector of predictions is.

研究动机与目标

• 为解决标准降维技术（如 t-SNE）在可视化深度分类器行为时的局限性，这些技术常因聚类保持能力差与保真度不足而产生误导。
• 开发一种方法，通过可视化预测类别概率的完整向量（暗知识）来提升黑箱分类器的可解释性。
• 使分析人员能够诊断模型可靠性，识别误分类或异常输入，并理解类别相似性与决策边界。
• 联合优化模型压缩与降维，使一个轻量级分类器能够在低维空间中模仿黑箱模型的预测。

提出的方法

• DarkSight 联合训练低维嵌入与轻量级分类器，使其匹配原始深度分类器的完整预测概率向量。
• 该方法采用模型压缩目标：轻量级分类器在嵌入输入上的预测结果必须与原始分类器在原始输入上的输出相匹配。
• 通过反向传播端到端优化嵌入，确保低维空间保留聚类保持与局部保真度等关键可解释性特性。
• 该框架通过分析嵌入空间中概率向量的空间分布，实现对预测置信度、类别混淆与异常值的可视化。
• 该方法利用暗知识（即完整概率分布），而不仅限于最高预测结果，以指导可视化结构。
• 该方法通过可视化中的平移与缩放，支持对高维数据集（如包含 100 个类的 CIFAR-100）的交互式探索。

实验结果

研究问题

• RQ1 基于暗知识的可视化是否能比标准降维方法（如 t-SNE）更可靠地揭示深度分类器行为？
• RQ2 可视化在多大程度上保留了聚类结构、类别间的全局关系以及异常值检测能力？
• RQ3 该方法能否识别并突出显示具有异常预测向量的数据点，这些数据点可能表明模型不确定性或误分类？
• RQ4 低维嵌入在多大程度上保持了局部保真度，确保邻近点具有相似的预测分布？
• RQ5 该方法在识别模型弱点（如相似类别间的混淆或异常输入）方面是否可作为有效的诊断工具？

主要发现

• DarkSight 可视化保留了聚类结构，并且置信度从聚类中心单调递减，从而支持对分类器置信度的可靠评估。
• 位于聚类中心附近的点（如典型数字）具有更高置信度，而位于聚类边缘的点（如模糊或非典型的数字）置信度较低，这与第二高概率预测值较高的预测向量一致。
• 该方法成功识别出预测异常值——即具有异常概率分布的数据点，例如具有多个高概率预测的数字，这些点在可视化中位于聚类边缘或孤立区域。
• 在 CIFAR-100 中，DarkSight 可视化清晰地显示出连接语义相似类别的 1D 流形（如卡车 → 汽车 → 鸟 → 狗），且沿路径的预测向量呈现平滑过渡。
• 误分类点在可视化中倾向于聚集在一起，暴露出共享特征（如被误分类为 '7' 的数字具有长的顶部笔画），为模型改进提供了诊断洞察。
• 与 t-SNE 相比，DarkSight 避免了误导性的分离，更好地反映了实际模型行为，尤其在保留全局结构与识别模糊或罕见情况方面表现更优。