[论文解读] Forward Thinking: Building Deep Random Forests

K. Miller, Chris Hettinger+3 more|arXiv (Cornell University)|May 20, 2017

Machine Learning and Data Classification参考文献 13被引用 36

一句话总结

本文提出Forward Thinking，一种使用分层集成决策树而非神经元构建深度学习模型的框架，实现无需反向传播的高效逐层训练。所提出的Forward Thinking Deep Random Forest（FTDRF）通过在多层中逐层映射数据至各棵树的输出，仅用2,000棵树即在MNIST上达到98.98%的准确率，性能与gcForest相当，但树的数量仅为后者的二分之一。

ABSTRACT

The success of deep neural networks has inspired many to wonder whether other learners could benefit from deep, layered architectures. We present a general framework called forward thinking for deep learning that generalizes the architectural flexibility and sophistication of deep neural networks while also allowing for (i) different types of learning functions in the network, other than neurons, and (ii) the ability to adaptively deepen the network as needed to improve results. This is done by training one layer at a time, and once a layer is trained, the input data are mapped forward through the layer to create a new learning problem. The process is then repeated, transforming the data through multiple layers, one at a time, rendering a new dataset, which is expected to be better behaved, and on which a final output layer can achieve good performance. In the case where the neurons of deep neural nets are replaced with decision trees, we call the result a Forward Thinking Deep Random Forest (FTDRF). We demonstrate a proof of concept by applying FTDRF on the MNIST dataset. We also provide a general mathematical formulation that allows for other types of deep learning problems to be considered.

研究动机与目标

• 开发一种通用的深度学习框架，其泛化能力超越神经元，同时支持除神经元外的多样化学习器。
• 通过逐层顺序训练并向前映射数据至每一已训练层，实现在网络深度上的自适应、增量式扩展。
• 通过决策树的多层连续变换，将数据转化为更优的表示形式，从而提升学习性能。
• 证明使用随机森林替代神经网络构建深度架构的可行性与有效性，尤其在降低训练成本和过拟合风险方面。
• 在MNIST等基准数据集上实现与传统深度神经网络相当甚至更优的性能，同时使用更少的树和更快的训练速度。

提出的方法

• 逐层训练决策树，结合随机决策树与额外随机树以增强集成多样性。
• 每层训练完成后，通过收集每棵独立树的预测结果作为新特征，将所有训练和测试数据向前映射至该层。
• 将变换后的数据作为下一层的输入，重复此过程，逐层构建深层架构。
• 应用多网格扫描（MGS）预处理技术，从图像中提取局部模式，提升深度森林训练前的特征表示能力。
• 每层训练至性能相对增益低于1%时停止，确保收敛且避免过拟合。
• 使用信息增益熵确定树构建过程中的最优节点分裂，确保对特征空间的有效分层划分。

实验结果

研究问题

• RQ1 能否设计一种深度学习框架，使其超越神经元的限制，并实现无需反向传播的高效、增量式训练？
• RQ2 在深度架构中用决策树替代神经元是否能在MNIST等标准基准上实现具有竞争力的性能？
• RQ3 在相同预处理和数据集条件下，深度森林架构的性能与现有深度模型（如gcForest）相比如何？
• RQ4 使用单棵树的输出而非聚合的随机森林输出，是否能提升泛化能力或减小模型规模？
• RQ5 通过多层决策树对数据进行变换，能在多大程度上生成更适合下游分类任务的更优表示？

主要发现

• Forward Thinking Deep Random Forest（FTDRF）在MNIST数据集上仅使用2,000棵树即达到98.98%的准确率，性能与gcForest相当，但树的数量仅为后者的二分之一。
• 在采用多网格扫描（MGS）预处理后，FTDRF仅用2,000棵树即达到98.98%的准确率，而gcForest使用4,000棵树仅达到98.96%的准确率，表明其具有更高的样本效率。
• 即使仅使用500棵树，FTDRF仍达到98.89%的准确率，展现出在显著降低模型复杂度下的强大性能。
• FTDRF框架支持快速、顺序训练，无需反向传播，与传统深度神经网络相比，计算成本大幅降低。
• 将单棵树的输出向前传递，而非使用聚合的随机森林输出，可实现更具表达力且高效的表示学习过程。
• 该方法具有可复现性，代码已开源，可在GitHub上获取，支持透明化研究与深度树基架构的进一步探索。