[论文解读] Improving the Interpretability of Deep Neural Networks with Knowledge Distillation

Xuan Liu, Xiaoguang Wang+1 more|arXiv (Cornell University)|Dec 28, 2018

Explainable Artificial Intelligence (XAI)参考文献 43被引用 11

一句话总结

本文提出通过知识蒸馏将深度神经网络（DNN）蒸馏为决策树，以在不损失准确率的前提下提升可解释性。通过将DNN教师模型的软标签（logits）转移至决策树学生模型，该方法在相同深度下相比原始决策树实现了1–5%的准确率提升，证明了在保持模型可解释性的同时性能得到改善。

ABSTRACT

Deep Neural Networks have achieved huge success at a wide spectrum of applications from language modeling, computer vision to speech recognition. However, nowadays, good performance alone is not sufficient to satisfy the needs of practical deployment where interpretability is demanded for cases involving ethics and mission critical applications. The complex models of Deep Neural Networks make it hard to understand and reason the predictions, which hinders its further progress. To tackle this problem, we apply the Knowledge Distillation technique to distill Deep Neural Networks into decision trees in order to attain good performance and interpretability simultaneously. We formulate the problem at hand as a multi-output regression problem and the experiments demonstrate that the student model achieves significantly better accuracy performance (about 1\% to 5\%) than vanilla decision trees at the same level of tree depth. The experiments are implemented on the TensorFlow platform to make it scalable to big datasets. To the best of our knowledge, we are the first to distill Deep Neural Networks into vanilla decision trees on multi-class datasets.

研究动机与目标

• 为解决深度学习中模型可解释性与高性能之间的矛盾，特别是在医疗等关键任务领域中的应用。
• 提升本质上可解释的模型（如决策树）的准确率，这些模型在复杂数据集上通常表现不佳。
• 利用DNN中“暗知识”的软预测结果，指导更简单、可解释的学生模型的训练。
• 证明知识蒸馏不仅可用于模型压缩，还可用于提升机器学习中的可解释性。

提出的方法

• 该方法将知识蒸馏形式化为多输出回归问题，学生模型学习预测预训练DNN教师模型的logits。
• 使用DNN的软标签（softmax前的logits）训练决策树，相比硬标签保留了更丰富的信息。
• 蒸馏过程采用温度缩放技术，使概率分布更加平滑，从而增强知识迁移效果。
• 学生模型使用与教师模型相同的训练和测试数据进行训练，确保公平比较。
• 在MNIST和Connect-4数据集上进行实验，使用TensorFlow以保证可扩展性和可复现性。
• 将树深度限制为10，以维持人类可读性，因为更深的树在认知上难以理解。

实验结果

研究问题

• RQ1 知识蒸馏能否在保持可解释性的同时提升决策树的准确率？
• RQ2 使用DNN logits进行蒸馏与在相同数据上训练原始决策树相比，效果如何？
• RQ3 学生模型的性能在多大程度上依赖于教师模型的质量？
• RQ4 当树深度受限制时，蒸馏是否能带来更大的准确率增益，相较于无深度限制的情况？

主要发现

• 在MNIST和Connect-4数据集上，蒸馏后的决策树学生模型在相同树深度下相比原始决策树准确率高出1–5%。
• 在MNIST数据集上，学生模型在深度为10时达到86.55%的准确率，优于使用基尼指数准则的最优原始决策树（84.50%）。
• 在Connect-4数据集上，学生模型在深度为10时达到73.42%的准确率，超过原始决策树的70.44%（基尼指数准则）。
• 当树深度不受限制时，学生模型仍优于原始决策树（MNIST上为88.28% vs. 87.40%），但增益较小。
• 当树深度受限时，蒸馏效果更显著，证实该方法通过在紧凑、人类可读的模型中实现高准确率，有效增强了可解释性。
• 结果表明，知识蒸馏可显著缩小可解释模型与复杂DNN之间的性能差距。