[论文解读] Explaining Knowledge Distillation by Quantifying the Knowledge

Xu Cheng, Zhefan Rao+2 more|arXiv (Cornell University)|Mar 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 50被引用 16

一句话总结

本文提出一种方法，通过基于熵的度量量化深度神经网络（DNN）中间层中的任务相关和任务无关视觉概念，以解释知识蒸馏。结果表明，知识蒸馏使DNN能够学习到更多任务相关的概念，以并行而非顺序的方式学习，并沿更稳定的优化方向进行，从而优于从原始数据训练的方法。

ABSTRACT

This paper presents a method to interpret the success of knowledge distillation by quantifying and analyzing task-relevant and task-irrelevant visual concepts that are encoded in intermediate layers of a deep neural network (DNN). More specifically, three hypotheses are proposed as follows. 1. Knowledge distillation makes the DNN learn more visual concepts than learning from raw data. 2. Knowledge distillation ensures that the DNN is prone to learning various visual concepts simultaneously. Whereas, in the scenario of learning from raw data, the DNN learns visual concepts sequentially. 3. Knowledge distillation yields more stable optimization directions than learning from raw data. Accordingly, we design three types of mathematical metrics to evaluate feature representations of the DNN. In experiments, we diagnosed various DNNs, and above hypotheses were verified.

研究动机与目标

• 通过分析中间DNN层中编码的知识，解释为何知识蒸馏优于从原始数据训练。
• 使用基于熵的度量，无需人工标注即可量化任务相关和任务无关的视觉概念。
• 研究知识蒸馏是否相比端到端训练，能带来更高效、并行且稳定的视觉概念学习。
• 通过学生网络和基线网络中特征表示的定量分析，验证关于知识蒸馏的三个假设。

提出的方法

• 提出一种基于熵分析的方法，用于量化中间DNN层中的视觉概念，将信息损失较低的区域视为视觉概念。
• 引入三种数学度量：前景（任务相关）和背景（任务无关）概念的数量、学习速度（λ），以及优化稳定性（D_mean, D_std）。
• 在多个模型（ResNet-18, -50, -101, -152）上，将通过蒸馏训练的学生网络与架构相同的基线网络（从原始数据训练）进行比较。
• 以信息瓶颈理论为基础，但通过测量训练过程中像素级概念的丢弃，对其进行了扩展。
• 采用粗略的逐周期估计（−m）以区分学习与丢弃阶段，尽管承认该过程并非严格可分。
• 将度量应用于全连接层（FC1, FC2, FC3），以分析训练过程中概念编码与优化动态。

实验结果

研究问题

• RQ1 知识蒸馏是否使DNN学习到比从原始数据训练更多的任务相关视觉概念？
• RQ2 知识蒸馏是否促进多样视觉概念的并行学习，而非基线网络中的顺序学习？
• RQ3 知识蒸馏是否带来更稳定的优化方向，减少因先建模非判别性特征后又丢弃而产生的‘绕行’现象？
• RQ4 能否使用基于熵的方法，在无需人工标注的情况下量化中间DNN层中的视觉概念？
• RQ5 在概念数量、学习速度和稳定性方面，通过蒸馏训练的学生网络与从原始数据训练的基线网络在学习动态和特征表示上存在哪些差异？

主要发现

• 学生网络学习到的任务相关视觉概念数量（N_concept^fg）显著多于基线网络，所有ResNet变体和各层中该值均保持更高。
• 学生网络表现出更高的学习速度（λ）和更低的优化不稳定性（D_mean, D_std），表明其特征学习更一致且高效。
• 基线网络的N_concept^bg和D_std值更高，表明其编码了更多任务无关概念，且优化路径更不稳定。
• 例如在ResNet-18中，学生网络在FC1处达到N_concept^fg = 15.20，而基线网络为13.03，且D_std更低（0.39 vs. 0.41），支持假设1和3。
• 学生网络在所有层和模型中均表现出更低的D_mean和D_std值，证实其优化方向更稳定，且绕行现象更少。
• 度量结果表明，知识蒸馏减少了后期对非判别性特征的丢弃，如D_std降低及概念学习模式更一致所示。