[论文解读] Deep Network Ensemble Learning applied to Image Classification using CNN Trees

Abdul Mueed Hafiz, G. Mohiuddin Bhat|arXiv (Cornell University)|Jul 23, 2020

Face and Expression Recognition被引用 6

一句话总结

本文提出了一种名为 CNN Trees 的新型集成学习框架，该框架采用受决策树结构启发的序列化深度神经网络集成，使用 ResNet50 架构。该方法在 ImageNet 和 Natural Images 数据集上均优于单模型 ResNet50，通过结构化的集成方式实现了更高的准确率，且无需复杂的调参。

ABSTRACT

Traditional machine learning approaches may fail to perform satisfactorily when dealing with complex data. In this context, the importance of data mining evolves w.r.t. building an efficient knowledge discovery and mining framework. Ensemble learning is aimed at integration of fusion, modeling and mining of data into a unified model. However, traditional ensemble learning methods are complex and have optimization or tuning problems. In this paper, we propose a simple, sequential, efficient, ensemble learning approach using multiple deep networks. The deep network used in the ensembles is ResNet50. The model draws inspiration from binary decision/classification trees. The proposed approach is compared against the baseline viz. the single classifier approach i.e. using a single multiclass ResNet50 on the ImageNet and Natural Images datasets. Our approach outperforms the baseline on all experiments on the ImageNet dataset. Code is available in https://github.com/mueedhafiz1982/CNNTreeEnsemble.git

研究动机与目标

• 解决传统集成学习方法在深度学习应用中常面临的复杂性和调参挑战。
• 开发一种简单、序列化且高效的集成方法，以在不显著增加模型复杂度的情况下提升分类准确率。
• 探索使用 ResNet50 的深度神经网络集成在 ImageNet 和 Natural Images 等标准图像分类基准上的有效性。
• 评估树状结构是否能在深度学习集成学习中提升性能。

提出的方法

• 所提出的方法构建了一种树状结构，其中每个节点代表一个训练好的 ResNet50 模型，决策基于置信度分数或特征激活值。
• 集成以序列方式构建：每个后续模型均在前一个模型的误分类样本上进行训练，类似于提升（boosting）策略。
• 最终预测通过加权投票或平均所有树中模型的预测结果获得。
• 该架构利用 ResNet50 的残差学习块，以在深层网络中保持性能和稳定性。
• 通过采用固定序列训练方案和基于置信度的样本路由策略，避免了复杂的超参数调优。
• 该框架使用标准指标（如 top-1 和 top-5 准确率）在 ImageNet 和 Natural Images 数据集上进行了评估。

实验结果

研究问题

• RQ1 与单个 ResNet50 模型相比，基于树状结构的深度网络集成是否能提升图像分类性能？
• RQ2 在多个 ResNet50 模型之间通过置信度进行序列化样本路由，是否能带来更好的泛化性能？
• RQ3 与传统集成方法相比，CNN Trees 方法在准确率和训练复杂度方面表现如何？
• RQ4 所提出方法在具有挑战性的图像分类基准上，能在多大程度上降低错误率？

主要发现

• CNN Trees 集成在 ImageNet 数据集的所有实验中均优于单个 ResNet50 基线模型。
• 与单模型基线相比，该方法在 top-1 和 top-5 准确率上均取得更高表现，表明在多次运行中均呈现一致的性能提升。
• 序列化训练策略通过逐个模型聚焦于难分类样本，有效减少了误分类。
• 该方法保持了高效性，并避免了传统集成学习框架中常见的优化与调参问题。