[论文解读] A Lightened CNN for Deep Face Representation

Xiang Wu, Ran He+1 more|arXiv (Cornell University)|Nov 9, 2015

Face recognition and analysis参考文献 26被引用 139

一句话总结

该论文提出了一种轻量级CNN框架，采用最大特征图（MFM）激活函数和架构优化，以学习紧凑的人脸表征。通过用MFM替代ReLU并集成NIN模块，该模型在LFW和YTF数据集上实现了最先进（SOTA）的准确率，同时计算成本比VGG降低超过9倍，参数量仅约400万。

ABSTRACT

Convolution neural network (CNN) has significantly pushed forward the development of face recognition techniques. To achieve ultimate accuracy, CNN models tend to be deeper or multiple local facial patch ensemble, which result in a waste of time and space. To alleviate this issue, this paper studies a lightened CNN framework to learn a compact embedding for face representation. First, we introduce the concept of maxout in the fully connected layer to the convolution layer, which leads to a new activation function, named Max-Feature-Map (MFM). Compared with widely used ReLU, MFM can simultaneously capture compact representation and competitive information. Then, one shallow CNN model is constructed by 4 convolution layers and totally contains about 4M parameters; and the other is constructed by reducing the kernel size of convolution layers and adding Network in Network (NIN) layers between convolution layers based on the previous one. These models are trained on the CASIA-WebFace dataset and evaluated on the LFW and YTF datasets. Experimental results show that the proposed models achieve state-of-the-art results. At the same time, a reduction of computational cost is reached by over 9 times in comparison with the released VGG model.

研究动机与目标

• 在不牺牲准确率的前提下，降低深度人脸识别中的计算成本。
• 设计一种参数更少、运算更少的紧凑CNN架构，同时保持高性能。
• 探索使用最大特征图（MFM）作为ReLU的替代激活函数，以提升卷积层中的特征表示能力。
• 通过NIN模块等架构创新，在减少网络深度和卷积核尺寸的同时，保持模型的判别能力。

提出的方法

• 在卷积层中引入最大特征图（MFM）作为新型激活函数，替代ReLU，以增强特征的紧凑性与信息保留能力。
• 构建一个浅层CNN，包含4个卷积层，参数量约为400万个，以实现高效训练与推理。
• 通过减小卷积核尺寸并引入网络在网路（NIN）模块，插入卷积层之间，以提升模型的表征能力。
• 在CASIA-WebFace数据集上训练模型，并在LFW与YTF基准数据集上评估性能。
• 采用标准训练协议，结合数据增强与优化技术，以最大化模型泛化能力。
• 与发布的VGG模型对比计算效率与准确率，量化推理速度与参数量的降低程度。

实验结果

研究问题

• RQ1 参数少于400万个的紧凑CNN能否在人脸识别任务中实现最先进性能？
• RQ2 最大特征图（MFM）激活函数是否在降低复杂度的前提下，优于ReLU以学习更具判别力的人脸表征？
• RQ3 通过减小卷积核尺寸与引入NIN模块等架构改进，能在多大程度上提升性能，而无需增加网络深度？
• RQ4 与VGG模型相比，所提模型在计算效率方面表现如何，特别是在推理速度与参数量方面？

主要发现

• 所提出的轻量级CNN结合MFM与NIN模块，在LFW与YTF人脸识别基准测试中实现了最先进准确率。
• 与发布的VGG模型相比，该模型将计算成本降低了逾9倍，同时保持了高性能。
• 在人脸嵌入任务中，MFM激活函数相比ReLU能生成更紧凑且更具竞争力的特征表示。
• 通过减小卷积核尺寸并引入NIN模块，该架构在不显著增加深度或参数量的前提下，提升了表征能力。
• 最终模型仅包含约400万个参数，展现出在实时或移动端部署中的高度效率。
• 该模型在LFW与YTF数据集上均表现出强大的泛化能力，证实其在多样化人脸识别场景下的鲁棒性。