[论文解读] Learning Discriminative Features via Label Consistent Neural Network

Zhuolin Jiang, Yaming Wang+3 more|arXiv (Cornell University)|Feb 3, 2016

Human Pose and Action Recognition参考文献 37被引用 5

一句话总结

本文提出标签一致性神经网络（LCNN），一种深度学习框架，通过在深层网络的后期隐藏层中引入新型的‘判别性表征误差’损失，强制实施标签一致性，从而提升特征的判别能力。通过将该损失与标准分类损失相结合，LCNN 提升了收敛速度，缓解了梯度消失问题，并在动作识别与物体识别基准上实现了最先进性能，即使仅使用简单 k-NN 分类器对学习到的特征进行分类亦可实现优异表现。

ABSTRACT

Deep Convolutional Neural Networks (CNN) enforces supervised information only at the output layer, and hidden layers are trained by back propagating the prediction error from the output layer without explicit supervision. We propose a supervised feature learning approach, Label Consistent Neural Network, which enforces direct supervision in late hidden layers. We associate each neuron in a hidden layer with a particular class label and encourage it to be activated for input signals from the same class. More specifically, we introduce a label consistency regularization called "discriminative representation error" loss for late hidden layers and combine it with classification error loss to build our overall objective function. This label consistency constraint alleviates the common problem of gradient vanishing and tends to faster convergence; it also makes the features derived from late hidden layers discriminative enough for classification even using a simple $k$-NN classifier, since input signals from the same class will have very similar representations. Experimental results demonstrate that our approach achieves state-of-the-art performances on several public benchmarks for action and object category recognition.

研究动机与目标

• 为解决标准 CNN 在隐藏层中缺乏显式监督、在训练数据有限时易出现梯度消失与收敛缓慢的问题。
• 通过直接将神经元与类别标签关联，提升后期隐藏层中学习到的特征的判别能力。
• 通过使表征具有类别特异性和紧凑性，使仅使用后期隐藏层特征即可实现高性能分类，即使采用简单的 k-NN 分类器亦可。
• 提供一种可泛化的通用方法，可无缝集成至现有深度网络架构中，以提升视觉任务的性能。

提出的方法

• 提出一种‘判别性表征误差’损失，促使后期隐藏层中的每个神经元仅对与其关联类别标签的输入产生激活。
• 将隐藏层中的每个神经元与特定类别关联，并对来自不同类别的输入施加激活惩罚，以实现标签一致性。
• 将判别性表征误差损失与标准交叉熵分类损失结合，形成联合目标函数，实现端到端训练。
• 将该方法应用于后期全连接层与卷积层（如 fc7、Pool5），并通过超参数调优确定正则化强度。
• 采用与基线网络（如 GoogLeNet、AlexNet、VGGNet）相同的训练协议，但通过引入标签一致性监督提升特征质量。
• 使用标准反向传播算法，结合联合损失函数，使该方法可无缝集成至任意现有 CNN 框架中。

实验结果

研究问题

• RQ1 通过在后期隐藏层中引入标签一致性进行显式监督，是否能提升图像与视频识别任务的分类性能？
• RQ2 在隐藏层中强制实施标签一致性，是否能缓解梯度消失问题并加速训练收敛？
• RQ3 仅使用后期隐藏层的特征是否能通过简单分类器（如 k-NN）实现强性能，从而表明其具备高内在判别能力？
• RQ4 当训练数据有限时，该方法与最先进方法相比表现如何？

主要发现

• 在 Caltech101 数据集上，LCNN-2 使用 VGGNet-16 主干网络实现了 93.7% 的 top-1 准确率，优于基线微调 VGGNet-16（92.5%），并超越了先前最先进方法如 LC-KSVD（73.6%）和 He et al.（91.44%）。
• 在 ImageNet 上，LCNN-2 在相同训练设置下从零开始训练时，其 top-1 和 top-5 准确率均高于基线 GoogLeNet 实现。
• LCNN 中后期隐藏层的特征在 Caltech101 上使用 k-NN 分类器达到了 89.45% 的准确率，证明其具备强大的内在判别能力。
• 标签一致性约束有效加快了收敛速度并提升了性能，尤其在数据稀缺条件下更为显著，归因于梯度消失效应的减弱。
• LCNN 在动作识别与物体识别基准上均优于多个最先进方法，证实其在多样化视觉任务中的有效性。