[论文解读] Deep Neural Decision Trees

Yongxin Yang, Irene Garcia Morillo+1 more|arXiv (Cornell University)|Jun 19, 2018

Explainable Artificial Intelligence (XAI)参考文献 21被引用 104

一句话总结

DNDT 提供 一个神经网络实现的决策树，允许基于梯度的训练和端到端学习，同时保持树结构的可解释性。

ABSTRACT

Deep neural networks have been proven powerful at processing perceptual data, such as images and audio. However for tabular data, tree-based models are more popular. A nice property of tree-based models is their natural interpretability. In this work, we present Deep Neural Decision Trees (DNDT) -- tree models realised by neural networks. A DNDT is intrinsically interpretable, as it is a tree. Yet as it is also a neural network (NN), it can be easily implemented in NN toolkits, and trained with gradient descent rather than greedy splitting. We evaluate DNDT on several tabular datasets, verify its efficacy, and investigate similarities and differences between DNDT and vanilla decision trees. Interestingly, DNDT self-prunes at both split and feature-level.

研究动机与目标

• 在对伦理与安全关键领域的预测模型中强调可解释性的重要性。
• 引入一种将神经网络与决策树结合的模型，以实现可解释性与基于梯度的训练。
• 在标准神经网络工具包中实现和集成树状模型的简便性。
• 展示 DNDT 能通过反向传播进行训练并支持小批量和 GPU 加速。

提出的方法

• 使用软分箱函数通过可训练的截点为每个特征创建可微分的分箱边界。
• 通过特征分箱输出的 Kronecker 乘积构建树，以识别最终的叶节点。
• 将线性分类器附着到每个叶节点以产生最终预测。
• 在一次前向通过中使用随机梯度下降端到端训练所有参数。
• 在训练期间可选地应用基于温度的平滑或 Gumbel-Softmax 以获得硬叶分配。
• 讨论 Kronecker 乘积的可扩展性局限性，并提出子空间集成作为一个实际权宜之计。

实验结果

研究问题

• RQ1 一个受神经网络启发的架构能否实现一个本质上仍具可解释性的决策树？
• RQ2 对分裂决策和叶分类器进行端到端的 SGD 训练是否在表格数据上取得竞争性表现？
• RQ3 DNDT 与传统决策树和原生神经网络在准确性和可解释性方面的比较？
• RQ4 在 DNDT 学习过程中会出现哪些自正则化效应（例如活跃的截点和特征）？
• RQ5 GPU 加速与特征子空间集成能否缓解可扩展性挑战？

主要发现

• DNDT 以树形结构可解释，同时实现为神经网络，能实现基于梯度的优化。
• DNDT 可以用 SGD 端到端训练，并支持小批量和 GPU 加速。
• DNDT 在训练过程中倾向于自我剪枝，通过减少活跃的截点和未使用的特征数量。
• 在 14 个表格数据集的测试中，DNDT 常常与原生神经网络相匹配或略高于之，且在数据不同情况下可接近或超过传统 DT 的表现。
• 使用在随机特征子空间上训练的多个 DNDT 树可以提高高维数据集的可扩展性。
• DNDT 通过在不同运行中对特征的使用与排除来分析特征重要性，提供了一种评估哪些特征驱动决策的方法。