[论文解读] Bringing Cartoons to Life: Towards Improved Cartoon Face Detection and Recognition Systems

Saurav Jha, Nikhil Agarwal+1 more|arXiv (Cornell University)|Apr 5, 2018

Face recognition and analysis参考文献 32被引用 10

一句话总结

本文提出基于深度学习的卡通人脸检测与识别框架，利用MTCNN进行检测，并采用两种新型模型——Inception v3+SVM与融合面部关键点坐标的混合卷积神经网络（HCNN）进行识别。HCNN模型在类别多样性下表现出更优的稳定性，而Inception v3+SVM在卡通人脸性别识别任务上实现了新的SOTA F1分数0.910。

ABSTRACT

Given the recent deep learning advancements in face detection and recognition techniques for human faces, this paper answers the question "how well would they work for cartoons'?" - a domain that remains largely unexplored until recently, mainly due to the unavailability of large scale datasets and the failure of traditional methods on these. Our work studies and extends multiple frameworks for the aforementioned tasks. For face detection, we incorporate the Multi-task Cascaded Convolutional Network (MTCNN) architecture and contrast it with conventional methods. For face recognition, our two-fold contributions include: (i) an inductive transfer learning approach combining the feature learning capability of the Inception v3 network and the feature recognizing capability of Support Vector Machines (SVMs), (ii) a proposed Hybrid Convolutional Neural Network (HCNN) framework trained over a fusion of pixel values and 15 manually located facial keypoints. All the methods are evaluated on the Cartoon Faces in the Wild (IIIT-CFW) database. We demonstrate that the HCNN model offers stability superior to that of Inception+SVM over larger input variations, and explore the plausible architectural principles. We show that the Inception+SVM model establishes a state-of-the-art F1 score on the task of gender recognition of cartoon faces. Further, we introduce a small database hosting location coordinates of 15 points on the cartoon faces belonging to 50 public figures of the IIIT-CFW database.

研究动机与目标

• 为解决由于艺术风格差异和数据集有限导致的卡通人脸检测与识别中缺乏鲁棒的深度学习系统的问题。
• 在传统方法如HOG和Haar特征之外，提升卡通人脸检测的性能。
• 开发并评估新型深度学习架构，通过整合面部关键点位置信息以提升识别准确率。
• 在IIIT-CFW卡通人脸数据集上建立检测与识别任务的SOTA基准。
• 公开发布IIIT-CFW数据集中50位公众人物的15个面部关键点坐标的全新数据集，以支持未来研究。

提出的方法

• 采用MTCNN架构进行卡通人脸检测，并与基于HOG和Haar特征的检测器进行性能对比。
• 使用预训练的Inception v3网络作为特征提取器，后续接SVM与梯度提升分类器进行识别。
• 提出一种混合卷积神经网络（HCNN），在端到端可训练架构中融合原始像素值与人工标注的15个面部关键点坐标。
• 在HCNN中引入跳跃连接与批量归一化层，以稳定训练过程并提升收敛性能。
• 在IIIT-CFW数据集上训练模型，采用数据增强与早停策略以防止过拟合。
• 使用F1分数、top-5错误率、精确率、召回率与准确率等指标，在不同类别数量与输入变化下评估模型性能。

实验结果

研究问题

• RQ1 MTCNN在检测具有高度艺术风格差异的卡通人脸时，相较于HOG与Haar特征等传统方法表现如何？
• RQ2 将人工标注的面部关键点坐标信息整合是否能提升卡通人脸识别模型的鲁棒性与准确率？
• RQ3 随着类别数量的增加，所提出的HCNN框架是否在稳定性方面优于Inception v3+SVM模型？
• RQ4 所提出模型在卡通人脸性别识别任务上的表现如何？是否实现了SOTA结果？
• RQ5 为何Inception v3+SVM模型在类别多样性增加时表现出较低的稳定性？HCNN如何缓解此问题？

主要发现

• MTCNN框架在真正例率（TPR）、假正例率（FPR）与假负例率（FNR）方面优于SOTA的基于下颌轮廓与对称性的检测器[14]，尤其在正面人脸检测中表现更优。
• Inception v3+SVM模型在性别识别任务上实现了SOTA的F1分数0.910，优于HCNN模型在该特定指标上的表现。
• 当在输入中加入面部关键点坐标时，HCNN模型将top-5错误率较基线降低5.87%。
• 当类别数从20增加到100时，HCNN与Inception v3+SVM之间的性能差距缩小，最终HCNN在top-5错误率上超越后者。
• 在Conv2D层后而非批量归一化层后引入跳跃连接，显著提升了训练稳定性，将收敛所需训练周期从103轮减少至47轮。
• 在类别多样性增加的情况下，HCNN模型表现出比Inception v3+SVM更强的稳定性，表明其在大规模卡通人脸识别任务中具备更好的泛化能力。