[论文解读] Deep neural network initialization with decision trees

Kelli Humbird, J. L. Peterson+1 more|arXiv (Cornell University)|Jul 3, 2017

Machine Learning and Data Classification参考文献 19被引用 7

一句话总结

本文提出DJINN方法，通过使用决策树对深度前馈神经网络进行初始化，为训练提供良好的起点。通过将树结构映射到网络架构和权重，DJINN在计算成本显著更低的情况下，实现了与贝叶斯超参数优化相当的预测性能，使其成为复杂、高维数据集代理建模中一种稳健且用户友好的方法。

ABSTRACT

In this work a novel, automated process for constructing and initializing deep feed-forward neural networks based on decision trees is presented. The proposed algorithm maps a collection of decision trees trained on the data into a collection of initialized neural networks, with the structures of the networks determined by the structures of the trees. The tree-informed initialization acts as a warm-start to the neural network training process, resulting in efficiently trained, accurate networks. These models, referred to as "deep jointly-informed neural networks" (DJINN), demonstrate high predictive performance for a variety of regression and classification datasets, and display comparable performance to Bayesian hyper-parameter optimization at a lower computational cost. By combining the user-friendly features of decision tree models with the flexibility and scalability of deep neural networks, DJINN is an attractive algorithm for training predictive models on a wide range of complex datasets.

研究动机与目标

• 解决在复杂、高维数据集中选择最优神经网络架构和初始权重的挑战。
• 通过利用决策树作为结构和权重初始化的来源，降低深度学习中超参数调优的计算负担。
• 结合决策树的用户友好性与深度神经网络的预测能力和可扩展性。
• 开发一种黑箱方法，最大限度减少用户干预，同时在多种回归和分类任务中保持高精度。
• 证明信息量充足的权重初始化在效率和性能方面可优于广泛的超参数搜索。

提出的方法

• 在数据集上训练一组决策树集成模型（如随机森林），以捕捉潜在的模式和结构。
• 将每棵决策树的结构映射为深度前馈神经网络的架构，其中树的深度决定隐藏层数量，叶节点数量决定每层的神经元数量。
• 通过可微变换将决策树的分裂阈值和叶节点值转换为网络权重，确保初始网络能模仿树的行为。
• 将所得的初始化网络作为标准反向传播训练的热启动，提升收敛速度和最终性能。
• 并行训练多个DJINN网络，每个网络从集成中的不同树初始化，以增强鲁棒性和泛化能力。
• 将该方法应用于回归和分类任务，与贝叶斯超参数优化及其他初始化技术进行性能比较。

实验结果

研究问题

• RQ1 能否有效将决策树结构映射到深度神经网络架构，以提升训练效率和准确性？
• RQ2 基于树的权重初始化是否相比He或Xavier等标准初始化方法提供更优的热启动？
• RQ3 在预测准确性和计算成本方面，DJINN的性能与贝叶斯超参数优化相比如何？
• RQ4 DJINN是否能在不显式优化网络架构的情况下实现具有竞争力的性能？
• RQ5 该方法在多大程度上减少了深度学习应用中手动超参数调优的需求？

主要发现

• 在多个回归和分类数据集（包括波士顿房价、糖尿病和葡萄酒数据集）上，DJINN的预测性能与贝叶斯超参数优化相当。
• 与超参数优化相比，该方法显著降低了计算成本，因为它避免了在架构和超参数空间中进行迭代搜索。
• 在复杂的回归问题中，DJINN的架构和初始化使网络收敛更快，且最终损失更低，优于标准初始化方法。
• 在Iris和乳腺癌等分类任务中，DJINN的性能与其它初始化和架构选择方法相当，表明其在各类问题中均具鲁棒性。
• DJINN生成的隐藏层宽度与贝叶斯优化找到的结果高度一致，表明树结构能自然地提出有效的网络架构。
• 并行训练的DJINN集成模型在小样本、高维数据集上表现出更优的泛化能力和稳定性。