[论文解读] Cartoon Face Recognition: A Benchmark Dataset

Yi Zheng, Yifan Zhao+5 more|arXiv (Cornell University)|Jul 31, 2019

Face recognition and analysis参考文献 42被引用 4

一句话总结

本文提出了iCartoonFace，这是目前规模最大、最全面的卡通人脸识别基准数据集，包含5,013个角色的389,678张图像，附带丰富的标注信息。该研究提出了一种多任务域自适应框架，利用人脸数据提升卡通人脸识别与检测性能，在联合学习与域正则化策略下实现了最先进性能，Rank@1准确率达到84.34%。

ABSTRACT

Recent years have witnessed increasing attention in cartoon media, powered by the strong demands of industrial applications. As the first step to understand this media, cartoon face recognition is a crucial but less-explored task with few datasets proposed. In this work, we first present a new challenging benchmark dataset, consisting of 389,678 images of 5,013 cartoon characters annotated with identity, bounding box, pose, and other auxiliary attributes. The dataset, named iCartoonFace, is currently the largest-scale, high-quality, richannotated, and spanning multiple occurrences in the field of image recognition, including near-duplications, occlusions, and appearance changes. In addition, we provide two types of annotations for cartoon media, i.e., face recognition, and face detection, with the help of a semi-automatic labeling algorithm. To further investigate this challenging dataset, we propose a multi-task domain adaptation approach that jointly utilizes the human and cartoon domain knowledge with three discriminative regularizations. We hence perform a benchmark analysis of the proposed dataset and verify the superiority of the proposed approach in the cartoon face recognition task. We believe this public availability will attract more research attention in broad practical application scenarios.

研究动机与目标

• 为工业与学术应用中卡通人脸识别缺乏大规模、高质量数据集的问题提供解决方案。
• 探究从人脸识别知识迁移到卡通人脸识别的可行性。
• 开发一种半自动标注流程，利用人脸数据提升卡通媒体标注的效率与准确性。
• 在多样化的现实条件下，为卡通人脸识别与人脸检测任务建立基准。
• 评估多任务域自适应在弥合人脸与卡通人脸领域差异方面的有效性。

提出的方法

• 提出iCartoonFace，一个大规模数据集，包含5,013个卡通角色的389,678张图像，标注了身份、边界框、3D姿态、性别及其他属性。
• 开发一种半自动标注算法，利用预训练的人脸检测器与分类器作为先验知识，加速并提升卡通人脸标注质量。
• 提出一种多任务域自适应框架，通过三种判别正则化方法（分类损失、未知身份拒识损失、域对齐损失）联合训练人脸与卡通人脸数据。
• 采用共享主干网络（如DenseNet-169），并为识别与检测任务分别设计专用分支，实现跨领域知识迁移。
• 采用结合ArcFace的焦点损失（F-ArcFace），以缓解类别不平衡问题，并提升对困难样本的识别性能。
• 通过调整面部区域扩展率（0.0至1.0）进行数据增强，研究上下文信息对识别准确率的影响。

实验结果

研究问题

• RQ1 能否有效利用人脸识别数据集的知识，以提升卡通人脸识别性能？
• RQ2 包含上下文信息（如发型、配饰）对卡通人脸识别性能有何影响？
• RQ3 多任务域自适应损失的最优配置是什么，以实现人脸与卡通人脸领域的联合学习？
• RQ4 利用人脸数据进行半自动标注在多大程度上提升了卡通数据集的标注效率与准确性？
• RQ5 在iCartoonFace基准上，最先进模型的性能如何随不同数据增强与域自适应策略而变化？

主要发现

• 所提出的多任务域自适应模型在同时使用全部三种损失（分类损失、未知身份拒识损失、域对齐损失）时，在iCartoonFace上实现了最高的Rank@1准确率84.34%，优于基线模型。
• 在训练过程中引入人脸数据（如WiderFace）后，卡通人脸检测准确率从91.0%提升至92.4%。
• 将面部区域扩大至原始大小的1.75倍（即扩大75%）时，识别性能最佳，Rank@1达到78.29%，Rank@5达到89.95%。
• F-ArcFace优于其他最先进模型，Rank@1达到83.96%，证明了焦点损失在处理卡通人脸识别中困难样本时的优势。
• 消融实验表明，域对齐损失对性能提升至关重要，显著增强了模型在不同领域间的泛化能力。
• 半自动标注流程成功降低了标注成本，同时保持了高质量标注，使得大规模、丰富标注数据集的构建成为可能。