[论文解读] Efficient Gender Classification Using a Deep LDA-Pruned Net

Qing Tian, Tal Arbel+1 more|arXiv (Cornell University)|Apr 20, 2017

Face recognition and analysis参考文献 45被引用 7

一句话总结

该论文提出了一种轻量级、16层的深度神经网络，通过费雪线性判别分析（LDA）从VGG-16中剪枝，以识别并移除最后一层卷积层中的冗余神经元，实现了模型大小降低70倍、推理速度提升11倍，同时在LFW和CelebA数据集上保持或提升了准确率。剪枝后的特征可通过贝叶斯或SVM分类器高效分类，实现在CPU和移动设备上的实时部署。

ABSTRACT

Many real-time tasks, such as human-computer interaction, require fast and efficient facial gender classification. Although deep CNN nets have been very effective for a multitude of classification tasks, their high space and time demands make them impractical for personal computers and mobile devices without a powerful GPU. In this paper, we develop a 16-layer, yet lightweight, neural network which boosts efficiency while maintaining high accuracy. Our net is pruned from the VGG-16 model starting from the last convolutional (conv) layer where we find neuron activations are highly uncorrelated given the gender. Through Fisher's Linear Discriminant Analysis (LDA), we show that this high decorrelation makes it safe to discard directly last conv layer neurons with high within-class variance and low between-class variance. Combined with either Support Vector Machines (SVM) or Bayesian classification, the reduced CNNs are capable of achieving comparable (or even higher) accuracies on the LFW and CelebA datasets than the original net with fully connected layers. On LFW, only four Conv5_3 neurons are able to maintain a comparably high recognition accuracy, which results in a reduction of total network size by a factor of 70X with a 11 fold speedup. Comparisons with a state-of-the-art pruning method as well as two smaller nets in terms of accuracy loss and convolutional layers pruning rate are also provided.

研究动机与目标

• 实现在移动电话和嵌入式系统等资源受限设备上的实时人脸性别分类。
• 在不牺牲分类准确率的前提下，减小深度CNN的计算和内存开销。
• 利用统计去相关分析，识别并移除预训练深度网络最后一层卷积层中的冗余神经元。
• 用轻量级分类器（SVM、贝叶斯）替代昂贵的全连接层，同时保持或提升性能。
• 证明基于类别特异性神经元去相关性的剪枝方法优于基于权重大小的剪枝方法。

提出的方法

• 对最后一层卷积层（Conv5_3）的激活值应用费雪线性判别分析（LDA），以识别具有低类间方差和高类内方差的神经元。
• 剪除类内方差高而类间方差低的神经元，因其对类别判别贡献较小。
• 仅使用剩余神经元对网络进行微调，以在剪枝后维持性能。
• 用轻量级分类器（贝叶斯和带线性/RBF核的SVM）替换原始的全连接层。
• 在LFW和CelebA数据集上评估剪枝网络与替代分类器的性能，以衡量准确率和效率。
• 测量不同剪枝率和对比方法下的模型大小、推理速度和准确率损失。

实验结果

研究问题

• RQ1 基于最终卷积层中统计去相关的神经元剪枝，是否能显著减小模型大小并降低推理时间，同时不降低准确率？
• RQ2 用轻量级分类器（SVM、贝叶斯）替代全连接层，是否能实现与原始FC层相当或更优的性能？
• RQ3 与基于权重大小的剪枝相比，基于LDA的剪枝在准确率损失和剪枝效率方面表现如何？
• RQ4 剪枝后的轻量级网络是否能在包含部分遮挡和复杂背景的挑战性数据集（如LFW和CelebA）上实现高准确率？
• RQ5 由于内存和计算需求显著降低，该剪枝网络在移动或嵌入式系统上的部署程度如何？

主要发现

• 基于LDA剪枝的网络在模型大小上实现了70倍的缩减（从500多MB降至7MB），同时在LFW和CelebA数据集上保持了高准确率。
• 仅需从Conv5_3层保留四个神经元，即可在LFW数据集上维持高识别准确率，从而实现70倍的模型大小缩减。
• 与原始VGG-16相比，剪枝网络在CPU上测试时，推理速度提升了11倍。
• LDA剪枝特征与贝叶斯或SVM分类器结合的性能优于原始全连接层，尤其在存在遮挡或模糊等挑战性样本上表现更优。
• 在高剪枝率（超过85%）下，该方法的准确率损失低于当前最先进的基于权重大小的剪枝方法，尤其在卷积层剪枝中表现更优。
• 替代分类器的存储开销极低——贝叶斯分类器仅需2MB，SVM分类器仅需30KB，使整个系统非常适用于移动设备部署。