[论文解读] GrCAN: Gradient Boost Convolutional Autoencoder with Neural Decision Forest

Manqing Dong, Lina Yao+3 more|arXiv (Cornell University)|Jun 21, 2018

Advanced Neural Network Applications参考文献 42被引用 4

一句话总结

GrCAN 提出了一种端到端可微分模型，整合了卷积自编码器、神经决策森林和梯度提升，以提升分类性能。通过联合训练自编码器进行特征学习、神经决策森林进行决策制定以及梯度提升模块进行残差学习，该模型在多种数据集上实现了最先进水平的准确率，包括在 Fashion-MNIST 上超过 92% 的准确率。

ABSTRACT

Random forest and deep neural network are two schools of effective classification methods in machine learning. While the random forest is robust irrespective of the data domain, the deep neural network has advantages in handling high dimensional data. In view that a differentiable neural decision forest can be added to the neural network to fully exploit the benefits of both models, in our work, we further combine convolutional autoencoder with neural decision forest, where autoencoder has its advantages in finding the hidden representations of the input data. We develop a gradient boost module and embed it into the proposed convolutional autoencoder with neural decision forest to improve the performance. The idea of gradient boost is to learn and use the residual in the prediction. In addition, we design a structure to learn the parameters of the neural decision forest and gradient boost module at contiguous steps. The extensive experiments on several public datasets demonstrate that our proposed model achieves good efficiency and prediction performance compared with a series of baseline methods.

研究动机与目标

• 为解决传统随机森林和深度神经网络的局限性，通过在单一可微模型中统一二者的优势。
• 通过将梯度提升整合到神经决策森林框架中，提升在小样本和高维数据集上的分类性能。
• 通过将卷积自编码器与神经决策森林结合，增强特征表示学习，以实现更好的泛化能力。
• 开发一种可训练的、端到端的架构，联合优化自编码器、神经决策森林和梯度提升组件。
• 在包括图像和表格数据在内的多样化数据集上，评估模型的鲁棒性和可扩展性。

提出的方法

• 采用卷积自编码器学习输入数据的分层、低维表示，捕捉局部空间关系。
• 使用神经决策森林作为可微分分类器，其中决策节点被参数化为概率分布，以支持端到端训练。
• 引入梯度提升模块，学习预测值与真实标签之间的残差，通过迭代方式逐步提升模型准确率。
• 设计一种连续的训练策略，在统一的优化循环中交替更新自编码器、神经决策森林和梯度提升模块。
• 支持可扩展的梯度提升模块，允许多个提升阶段逐步优化预测结果。
• 对输入特征应用最小-最大归一化，并在训练中使用 200 的批量大小，以实现稳定的优化。

实验结果

研究问题

• RQ1 能否有效将梯度提升集成到可微分神经决策森林中，以提升分类准确率？
• RQ2 将卷积自编码器与神经决策森林结合，如何增强特征表示并提升模型性能？
• RQ3 激活函数、自编码器深度和树的数量等超参数的变化对模型性能有何影响？
• RQ4 与独立训练相比，所提出的端到端训练策略是否通过联合优化自编码器、神经决策森林和梯度提升模块，能获得更优结果？
• RQ5 该模型在不同规模和数据类型的多样化数据集（包括图像和表格数据）上的表现如何？

主要发现

• 所提出的 GrCAN 模型在 Fashion-MNIST 数据集上实现了超过 92% 的准确率，优于基线方法和最先进模型。
• 包含一个或两个梯度提升模块的模型始终优于未使用梯度提升的模型，证明了在神经决策森林框架中残差学习的有效性。
• 采用 Sigmoid 激活函数的两层卷积自编码器在准确率与训练效率之间实现了最佳平衡，其收敛速度和最终性能均优于单层和三层变体。
• 神经决策森林中树的数量和树的深度显著影响准确率，更高的值能带来更快的性能提升，尤其是在训练后期。
• 更深的自编码器和更大的森林会导致收敛速度变慢，但更高的复杂度带来了更好的泛化能力和更高的最终准确率。
• 梯度提升模块中的学习率超参数 ρ 显著影响模型表现：较高的值如 ρ=1.0 虽需更多迭代，但因更强的残差学习能力而实现了更优的最终准确率。