[论文解读] Deep differentiable forest with sparse attention for the tabular data

Yingshi Chen|arXiv (Cornell University)|Feb 29, 2020

Advanced Neural Network Applications参考文献 19被引用 4

一句话总结

本文提出一种用于表格数据的深度可微随机森林，结合了决策树的可解释性与神经网络的优化能力。通过基于数据的注意力权重初始化实现稀疏性，该模型在大型表格数据集上的准确率高于XGBoost，同时保持完全可微性，支持基于梯度的训练。

ABSTRACT

We present a general architecture of deep differentiable forest and its sparse attention mechanism. The differentiable forest has the advantages of both trees and neural networks. Its structure is a simple binary tree, easy to use and understand. It has full differentiability and all variables are learnable parameters. We would train it by the gradient-based optimization method, which shows great power in the training of deep CNN. We find and analyze the attention mechanism in the differentiable forest. That is, each decision depends on only a few important features, and others are irrelevant. The attention is always sparse. Based on this observation, we improve its sparsity by data-aware initialization. We use the attribute importance to initialize the attention weight. Then the learned weight is much sparse than that from random initialization. Our experiment on some large tabular dataset shows differentiable forest has higher accuracy than GBDT, which is the state of art algorithm for tabular datasets. The source codes are available at https://github.com/closest-git/QuantumForest

研究动机与目标

• 开发一种深度可微决策森林架构，结合树结构的可解释性与神经网络的优化能力。
• 识别并利用可微随机森林中的注意力机制，其中仅少数特征影响每个决策。
• 通过使用特征重要性初始化注意力权重，提升模型稀疏性，减少对随机初始化的依赖。
• 在大型表格数据集上超越最先进的梯度提升决策树（GBDT）模型。
• 通过可微组件实现基于梯度下降的端到端训练，适用于树基模型。

提出的方法

• 模型采用简单的二叉树结构，其可微决策函数由可学习权重参数化。
• 树中的每个分裂通过将可微Sigmoid函数应用于加权特征计算得出，支持反向传播。
• 注意力被建模为每个节点上特征的稀疏选择，仅少数特征对决策有显著贡献。
• 通过使用预训练树的特征重要性分数初始化注意力权重，增强稀疏性，促进无关特征的早期剪枝。
• 整个架构通过标准反向传播和基于梯度的优化进行训练。
• 该方法支持在表格数据上进行端到端训练，所有参数均保持完全可微。

实验结果

研究问题

• RQ1 可微决策森林架构是否能在表格数据上实现高于传统梯度提升树的准确率？
• RQ2 可微随机森林中的注意力机制是否自然表现出稀疏性，即仅少数特征影响每个决策？
• RQ3 与随机初始化相比，基于数据的注意力权重初始化是否能提升模型稀疏性与性能？
• RQ4 可微性在多大程度上实现了树基模型的有效端到端训练？
• RQ5 所提出的模型与XGBoost等最先进的表格学习方法相比表现如何？

主要发现

• 深度可微随机森林在大型表格数据集上的准确率高于XGBoost，表现出更优的性能。
• 可微随机森林中的注意力机制本质上是稀疏的，仅一小部分特征对每个决策有贡献。
• 基于数据的注意力权重初始化相比随机初始化，显著提升了注意力模式的稀疏性。
• 模型的完全可微性支持通过基于梯度的优化进行有效训练，类似于深度神经网络。
• 该方法通过树结构保持了可解释性，同时实现了与或优于GBDT的性能。
• 源代码已公开，支持可复现性与进一步研究。