[论文解读] Deeply-Supervised Nets

Chen‐Yu Lee, Saining Xie+3 more|arXiv (Cornell University)|Sep 18, 2014

Advanced Neural Network Applications参考文献 26被引用 1,034

一句话总结

本文提出深度监督网络（DSN），一种新颖的深度学习框架，通过在卷积神经网络的多个隐藏层中引入辅助分类头（伴随目标），增强特征的判别性并提高训练稳定性。通过直接监督中间层，DSN改善了收敛性，减轻了梯度消失问题，在MNIST（0.39%错误率）、CIFAR-10（使用数据增强时为8.22%错误率）、CIFAR-100（34.57%错误率）和SVHN（1.92%错误率）上实现了最先进性能，优于标准CNN及其他先前方法。

ABSTRACT

Our proposed deeply-supervised nets (DSN) method simultaneously minimizes classification error while making the learning process of hidden layers direct and transparent. We make an attempt to boost the classification performance by studying a new formulation in deep networks. Three aspects in convolutional neural networks (CNN) style architectures are being looked at: (1) transparency of the intermediate layers to the overall classification; (2) discriminativeness and robustness of learned features, especially in the early layers; (3) effectiveness in training due to the presence of the exploding and vanishing gradients. We introduce "companion objective" to the individual hidden layers, in addition to the overall objective at the output layer (a different strategy to layer-wise pre-training). We extend techniques from stochastic gradient methods to analyze our algorithm. The advantage of our method is evident and our experimental result on benchmark datasets shows significant performance gain over existing methods (e.g. all state-of-the-art results on MNIST, CIFAR-10, CIFAR-100, and SVHN).

研究动机与目标

• 提升深度卷积网络隐藏层所学特征的可解释性与判别性。
• 解决深层网络反向传播过程中梯度消失与梯度爆炸的问题。
• 通过直接监督中间表征，提升训练效率与收敛性。
• 提供一个理论基础坚实、可扩展的框架，在不依赖数据增强或复杂预训练的前提下提升泛化能力。
• 在包括MNIST、CIFAR-10、CIFAR-100和SVHN在内的多样化基准数据集上，展示一致的性能提升。

提出的方法

• 在每个隐藏层引入一个伴随目标（辅助分类器），除主输出分类器外。
• 使用随机梯度方法分析并证明DSN框架收敛性的改进。
• 采用标准深度学习组件（卷积层、ReLU、池化层），但通过在特征图上添加独立分类器实现多级监督。
• 采用联合优化策略，总损失为所有层特定分类损失与最终输出损失之和。
• 支持多种激活函数和正则化技术（如Dropout、Maxout）作为兼容组件。
• 使用SVM或Softmax作为最终分类器，实验表明DSN-SVM与DSN-Softmax优于其非深度监督的对应模型。

实验结果

研究问题

• RQ1 对深层网络的中间隐藏层进行直接监督，是否能提升特征质量与分类性能？
• RQ2 多级监督是否能减轻梯度消失的影响并加速训练收敛？
• RQ3 DSN在多样化的图像分类基准上与标准CNN及其他最先进方法相比表现如何？
• RQ4 DSN在超参数选择与数据稀缺情况下的鲁棒性提升程度如何？
• RQ5 DSN框架能否扩展以整合现有正则化与架构技术，如Dropout、Maxout或数据增强？

主要发现

• DSN在MNIST上的测试错误率为0.39%，超越所有先前最先进方法，包括使用数据增强的方法。
• 在CIFAR-10上，DSN在不使用数据增强时错误率为9.78%，使用数据增强时为8.22%，创下新的最先进基准。
• 在CIFAR-100上，DSN达到34.57%的测试错误率，显著优于先前方法，如Network in Network（35.68%）与Maxout Networks（38.57%）。
• 在SVHN上，DSN达到1.92%错误率，与最佳已知结果持平，并优于DropConnect（1.94%）与Maxout Networks（2.47%）。
• DSN第一卷积层的梯度方差是标准CNN的4.55倍，表明信号传播更强，学习动态更优。
• 特征图可视化显示，DSN学习到的特征比标准CNN更具直观性与判别性，尤其在早期层表现更优。