[论文解读] Approximation Trees: Statistical Stability in Model Distillation

Yichen Zhou, Zhengze Zhou+1 more|arXiv (Cornell University)|Aug 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 27被引用 15

一句话总结

本文提出一种方法，通过在大规模伪数据集上使用假设检验来稳定决策树蒸馏，以确保分裂规则的一致性，并基于随机森林的变异性设计停止规则，防止对噪声的过拟合。该方法通过控制分裂稳定性和树深度，确保了可靠且可复现的解释。在CAD-MDD和COMPAS数据上的实证验证表明，稳定树结构所需的伪数据量远超当前常用水平。

ABSTRACT

This paper examines the stability of learned explanations for black-box predictions via model distillation with decision trees. One approach to intelligibility in machine learning is to use an understandable `student' model to mimic the output of an accurate `teacher'. Here, we consider the use of regression trees as a student model, in which nodes of the tree can be used as `explanations' for particular predictions, and the whole structure of the tree can be used as a global representation of the resulting function. However, individual trees are sensitive to the particular data sets used to train them, and an interpretation of a student model may be suspect if small changes in the training data have a large effect on it. In this context, access to outcomes from a teacher helps to stabilize the greedy splitting strategy by generating a much larger corpus of training examples than was originally available. We develop tests to ensure that enough examples are generated at each split so that the same splitting rule would be chosen with high probability were the tree to be re trained. Further, we develop a stopping rule to indicate how deep the tree should be built based on recent results on the variability of Random Forests when these are used as the teacher. We provide concrete examples of these procedures on the CAD-MDD and COMPAS data sets.

研究动机与目标

• 解决决策树在模型蒸馏中的不稳定性问题，即数据微小变化会显著改变树结构和解释结果。
• 确保在使用不同伪数据样本重新训练时，蒸馏树中的分裂规则在统计上稳定且可复现。
• 开发一种停止规则，通过利用随机森林作为教师模型的统计特性，防止对样本噪声的过拟合。
• 为黑箱模型预测提供可靠且可解释的解释，使其反映真实信号而非随机波动。
• 通过实证结果表明，稳定树结构所需的伪数据量远超当前蒸馏实践中的常用水平。

提出的方法

• 使用核密度估计从原始特征分布生成大规模合成伪数据集，以教师模型输出作为响应变量。
• 在每个分裂点应用假设检验框架，验证所选分裂在基尼不纯度减少方面是否显著优于其他选项，从而确保在重新训练时的一致性。
• 通过重采样方法计算p值，控制每个节点的伪数据量，以实现高达95%的概率在重新训练时选择相同的分裂。
• 结合近期关于随机森林预测抽样变异性理论结果，推导出一种停止规则，当信号不再可与噪声区分时即停止树的生长。
• 在每个节点标注假设检验的p值，以表示对分裂的统计置信度，从而支持可解释的模型诊断。
• 采用自适应筛选机制，聚焦于高影响力分裂，降低计算成本，尤其在多个候选分裂性能相近时。

实验结果

研究问题

• RQ1 我们能否确保在使用不同伪数据样本重新训练蒸馏树时，以高概率选择相同的分裂规则？
• RQ2 当多个竞争分裂的基尼改进值非常接近时，需要多少伪数据点才能稳定一个分裂？
• RQ3 在什么深度应停止蒸馏树的生长，以避免捕捉样本特异性噪声而非真实底层信号？
• RQ4 我们能否利用随机森林作为教师模型的统计特性，推导出一种树深度的合理停止规则？
• RQ5 当前的蒸馏实践在多大程度上因对训练数据扰动的敏感性而产生不稳定的解释？

主要发现

• 稳定树中的单个分裂通常需要生成高达5×10⁵个伪数据点，远超当前常规做法。
• 假设检验框架成功确保了即使分裂性能接近，重新训练时仍以高概率选择相同的分裂。
• 基于随机森林变异性设计的停止规则能有效防止对噪声的过拟合，实证显示在真实数据上，树结构可保持有意义的五层深度。
• 在CAD-MDD和COMPAS数据上的实证结果表明，具有稳定分裂和适当深度的树能捕捉真实信号，而非数据中的随机波动。
• 在每个节点标注的p值为分裂提供了统计置信度度量，增强了解释的可解释性和可靠性。
• 该方法揭示，许多现有蒸馏方法可能因小数据扰动引发的不稳定性而产生虚假解释，凸显了正式稳定性检查的必要性。