[论文解读] Deep Forest

Zhi-Hua Zhou, Ji Feng|arXiv (Cornell University)|Feb 28, 2017

Neural Networks and Applications被引用 15

一句话总结

该论文提出gcForest，一种基于决策树集成而非神经网络的深度学习模型，通过级联结构和多粒度扫描实现层次化特征学习，且无需反向传播。该模型在多种任务中表现出色，仅需极少的超参数调优，证明了即使使用不可微模块，深度模型依然可以成功。

ABSTRACT

Current deep learning models are mostly build upon neural networks, i.e., multiple layers of parameterized differentiable nonlinear modules that can be trained by backpropagation. In this paper, we explore the possibility of building deep models based on non-differentiable modules. We conjecture that the mystery behind the success of deep neural networks owes much to three characteristics, i.e., layer-by-layer processing, in-model feature transformation and sufficient model complexity. We propose the gcForest approach, which generates extit{deep forest} holding these characteristics. This is a decision tree ensemble approach, with much less hyper-parameters than deep neural networks, and its model complexity can be automatically determined in a data-dependent way. Experiments show that its performance is quite robust to hyper-parameter settings, such that in most cases, even across different data from different domains, it is able to get excellent performance by using the same default setting. This study opens the door of deep learning based on non-differentiable modules, and exhibits the possibility of constructing deep models without using backpropagation.

研究动机与目标

• 探究是否可以不使用神经网络等可微模块实现深度学习。
• 解决深度神经网络存在的局限性，包括超参数过多、数据需求量大以及可解释性差等问题。
• 开发一种基于决策树的深度模型，支持自动确定模型复杂度，并避免使用反向传播。
• 构建一个鲁棒且通用的学习系统，在默认设置下对小样本数据和多样化领域均表现良好。

提出的方法

• 提出gcForest，一种使用随机森林和完全随机树集成的级联结构深度森林模型，以实现层次化特征转换。
• 通过在多尺度和多分辨率下处理输入数据，采用多粒度扫描生成多样化且上下文感知的表示。
• 采用两阶段训练过程：首先，不使用标签训练完全随机树以生成特征表示；其次，使用带标签数据在这些转换后的特征上训练随机森林。
• 根据数据复杂度自动确定级联层级数量，实现基于数据的模型复杂度，而非人工设计。
• 在多粒度扫描过程中引入特征采样，以减少内存使用并增强集成多样性。
• 利用决策树的结构特性，通过在树生长过程中使用未标记数据，实现与主动学习和半监督学习潜在集成的可能性。

实验结果

研究问题

• RQ1 是否可以使用非可微模块（如决策树）而非神经网络来实现深度学习？
• RQ2 是否可以构建一种不依赖反向传播进行训练的深度模型？
• RQ3 能否使深度森林模型在极少超参数调优下，于多样化领域中实现与深度神经网络相媲美性能？
• RQ4 如何在无需预先设计网络架构的情况下，基于数据自动确定模型复杂度？
• RQ5 能否将集成方法（如随机森林）扩展至支持无差分性的深度层次化特征学习？

主要发现

• gcForest在包括表格数据、图像和文本在内的广泛机器学习任务中，性能与深度神经网络相当甚至更具竞争力。
• 该模型对超参数设置具有强鲁棒性，在不同领域使用相同默认配置时均能持续输出优异结果。
• 即使在小样本数据集上，gcForest也表现良好，而深度神经网络通常因数据稀缺而表现不佳。
• 级联结构结合多粒度扫描可有效实现层次化特征学习，提升表征能力，且无需反向传播。
• 模型复杂度由数据自动决定，减少了对手动架构设计的依赖，实现了自适应资源使用。
• gcForest在与主动学习和半监督学习集成方面具有潜力，因为完全随机树可利用未标记数据训练以生成特征表示。