[论文解读] Deep Convolutional Decision Jungle for Image Classification

Seungryul Baek, Kwang In Kim+1 more|arXiv (Cornell University)|Jun 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 33被引用 9

一句话总结

本文提出深度卷积决策丛林（CDJ），一种新型CNN架构，通过将决策丛林原理整合到中间卷积层和全连接层中，增强了特征的可区分性与可解释性。通过引入基于类别纯度的逐层路由损失，CDJ实现了数据依赖的软路由，通过激活的节点进行路由，从而在不增加推理时参数量的前提下，提升了准确率与可解释性，优于基线CNN模型及先前的CNN-树混合模型，在多个基准测试中表现更优。

ABSTRACT

We propose a novel method called deep convolutional decision jungle (CDJ) and its learning algorithm for image classification. The CDJ maintains the structure of standard convolutional neural networks (CNNs), i.e. multiple layers of multiple response maps fully connected. Each response map-or node-in both the convolutional and fully-connected layers selectively respond to class labels s.t. each data sample travels via a specific soft route of those activated nodes. The proposed method CDJ automatically learns features, whereas decision forests and jungles require pre-defined feature sets. Compared to CNNs, the method embeds the benefits of using data-dependent discriminative functions, which better handles multi-modal/heterogeneous data; further,the method offers more diverse sparse network responses, which in turn can be used for cost-effective learning/classification. The network is learnt by combining conventional softmax and proposed entropy losses in each layer. The entropy loss,as used in decision tree growing, measures the purity of data activation according to the class label distribution. The back-propagation rule for the proposed loss function is derived from stochastic gradient descent (SGD) optimization of CNNs. We show that our proposed method outperforms state-of-the-art methods on three public image classification benchmarks and one face verification dataset. We also demonstrate the use of auxiliary data labels, when available, which helps our method to learn more discriminative routing and representations and leads to improved classification.

研究动机与目标

• 解决现有CNN-树混合模型存在的参数爆炸、刚性二元路由及深层网络泛化能力差的问题。
• 通过在所有层中强制响应图（节点）的类别特异性纯度，改进CNN中的中间特征表示。
• 通过在标准CNN中嵌入决策丛林风格的软路由机制，实现更可解释且更具判别性的表示，同时不改变其网络架构。
• 在保持计算效率和与大规模深层网络兼容性的前提下，实现更高的分类准确率与改进的可解释性。
• 证明路由损失能有效促进隐藏层中低熵（高纯度）状态，且与模型泛化能力及可解释性呈正相关。

提出的方法

• 提出一种新型训练目标，结合最终层的标准交叉熵损失与逐层路由损失，后者用于度量响应图中的类别纯度。
• 将路由损失应用于每个卷积层和全连接层，通过梯度优化促使每个节点（响应图）专注于特定类别标签。
• 采用软路由机制：每个输入样本通过连续、数据依赖的路径激活多个节点，模拟决策丛林而非硬性二元分裂。
• 在推理阶段保持标准CNN的前向传播，丢弃训练阶段使用的路由路径，从而维持模型复杂度与效率。
• 利用决策丛林结构实现路径恢复，相比二元决策树，能更有效地减少过拟合。
• 将辅助信息（如面部姿态）直接整合到路由损失中，从而在异构或多模态数据上实现性能提升。

实验结果

研究问题

• RQ1 通过路由损失在中间CNN层强制实现类别特异性纯度，是否能提升分类准确率与表示判别性？
• RQ2 在决策丛林启发的结构中，软性、数据依赖的路由与硬性二元路由相比，在泛化能力与鲁棒性方面有何差异？
• RQ3 所提出的路由损失在多大程度上可通过降低隐藏层表示的熵来增强模型可解释性？
• RQ4 CDJ框架是否能在不增加推理阶段模型复杂度的前提下，有效应用于大规模、深层CNN架构？
• RQ5 在路由损失中引入辅助数据（如姿态）是否能在多模态学习场景中带来可测量的性能增益？

主要发现

• 在Caltech-101数据集上，CDJ达到94.2%的准确率，优于VGG-16（92.5%）和AlexNet（87.1%），较基线VGG-16提升1.8%。
• 在Multi-PIE人脸验证任务中，集成姿态标签的CDJ达到91.35%准确率，超过基线AlexNet（88.98%）与c-CNN Forest（76.89%）。
• CDJ每层的平均熵显著低于标准CNN，且熵与测试准确率之间存在强负相关关系，验证了路由损失的有效性。
• 在Oxford-IIIT Pet数据集上，CDJ的可解释性评分较AlexNet提升19.81%，较VGG-16提升16.18%，表明其与人类可解释概念的对齐性更强。
• 集成CDJ模型在Oxford-IIIT Pet数据集上的准确率分别为89.5%与94.1%，超过基线CNN集成模型（87.1%与92.3%）。
• 该方法通过避免参数爆炸，实现了大规模深层网络的构建，而c-CNN Forest则使节点数量翻倍，限制了网络深度。