[论文解读] Collaborative Layer-wise Discriminative Learning in Deep Neural Networks

Xiaojie Jin, Yunpeng Chen+3 more|arXiv (Cornell University)|Jul 19, 2016

Remote-Sensing Image Classification参考文献 35被引用 4

一句话总结

本文提出协同分层判别学习（CLDL），一种通过在不同网络层引入多个分类器并联合优化分类性能来提升深度神经网络的方法。通过让每一层专注于尚未被充分分类的样本，CLDL增强了分层特征的判别能力，在CIFAR100、MNIST、ImageNet、MIT67、SUN397和Places205上实现了最先进（SOTA）性能，且无需修改网络结构。

ABSTRACT

Intermediate features at different layers of a deep neural network are known to be discriminative for visual patterns of different complexities. However, most existing works ignore such cross-layer heterogeneities when classifying samples of different complexities. For example, if a training sample has already been correctly classified at a specific layer with high confidence, we argue that it is unnecessary to enforce rest layers to classify this sample correctly and a better strategy is to encourage those layers to focus on other samples. In this paper, we propose a layer-wise discriminative learning method to enhance the discriminative capability of a deep network by allowing its layers to work collaboratively for classification. Towards this target, we introduce multiple classifiers on top of multiple layers. Each classifier not only tries to correctly classify the features from its input layer, but also coordinates with other classifiers to jointly maximize the final classification performance. Guided by the other companion classifiers, each classifier learns to concentrate on certain training examples and boosts the overall performance. Allowing for end-to-end training, our method can be conveniently embedded into state-of-the-art deep networks. Experiments with multiple popular deep networks, including Network in Network, GoogLeNet and VGGNet, on scale-various object classification benchmarks, including CIFAR100, MNIST and ImageNet, and scene classification benchmarks, including MIT67, SUN397 and Places205, demonstrate the effectiveness of our method. In addition, we also analyze the relationship between the proposed method and classical conditional random fields models.

研究动机与目标

• 解决深度网络中分层特征利用不足的问题，即低层和中间层已包含简单或中级模式的判别性信息。
• 克服现有方法仅依赖顶层特征的局限性，忽略低层和中间层的互补判别能力。
• 通过使不同层的分类器协同工作并专注于各自独特的困难分类样本，提升整体分类准确率。
• 开发一种兼容标准反向传播的即插即用训练方法，可增强VGGNet、GoogLeNet和NIN等最先进网络，且无需修改网络结构。

提出的方法

• 在深度神经网络的不同层之上引入多个分类器，每个分类器接收其对应层的特征。
• 设计一种新型的CLDL损失函数，不仅包含每个样本的真实标签，还引入其他分类器的预测分数作为辅助监督信号。
• 使每个分类器能够根据其他分类器的置信度动态调整关注重点，优先处理尚未被充分分类的样本。
• 使用反向传播端到端训练整个网络，使所有分类器和特征提取器能够联合优化。
• 将协同学习建模为联合优化目标，以最大化所有层的最终分类性能。
• 证明其与跨层条件随机场（CRF）结构等价，为协同机制提供了概率解释。

实验结果

研究问题

• RQ1 深度网络中不同层的多个分类器能否通过聚焦互补样本，联合提升分类性能？
• RQ2 跨层协同学习是否相比仅使用顶层特征，能实现更优的判别特征利用？
• RQ3 所提方法能否在不修改网络结构或从头训练的前提下，有效集成到现有深度网络中？
• RQ4 CLDL在包括物体和场景分类任务在内的多样化基准上的性能与最先进模型相比如何？
• RQ5 CLDL与经典CRF模型在结构和优化方面有何关系？

主要发现

• CLDL-VGGNet-11在MIT67上达到84.69%的准确率，相比之前最先进方法DAG-CNN的77.50%提升了7.19个百分点。
• 在SUN397上，CLDL-VGGNet-16达到70.40%的准确率，尽管层数更少，仍比DAG-CNN高出14.2个百分点。
• 在Places205上，CLDL-VGGNet-11达到88.67%的top-1准确率，超过原始Places205-VGGNet-11的1.07%，并优于更深的VGGNet-13和VGGNet-16模型。
• 该方法在所有六个测试基准（CIFAR100、MNIST、ImageNet、MIT67、SUN397和Places205）上均实现了最先进性能。
• 即使在训练成本高昂的大型数据集Places205上，CLDL通过微调预训练模型并引入协同分类器，也显著提升了性能。
• 消融实验证实，分类器基于相互置信度聚焦于不同样本的协同机制，是性能提升的关键。