[论文解读] Facial Landmark Detection for Manga Images

Marco Stricker, Olivier Augereau+2 more|arXiv (Cornell University)|Nov 8, 2018

Face recognition and analysis参考文献 5被引用 8

一句话总结

本文提出了一种基于深度学习的漫画图像面部关键点检测系统，采用两阶段深度对齐网络（DAN）与一种新型漫画专用关键点标注模型。该方法在新创建的漫画数据集上实现了19.31%的失败率，优于单阶段模型，并展现出对风格化面部特征和表情的鲁棒性。

ABSTRACT

The topic of facial landmark detection has been widely covered for pictures of human faces, but it is still a challenge for drawings. Indeed, the proportions and symmetry of standard human faces are not always used for comics or mangas. The personal style of the author, the limitation of colors, etc. makes the landmark detection on faces in drawings a difficult task. Detecting the landmarks on manga images will be useful to provide new services for easily editing the character faces, estimating the character emotions, or generating automatically some animations such as lip or eye movements. This paper contains two main contributions: 1) a new landmark annotation model for manga faces, and 2) a deep learning approach to detect these landmarks. We use the "Deep Alignment Network", a multi stage architecture where the first stage makes an initial estimation which gets refined in further stages. The first results show that the proposed method succeed to accurately find the landmarks in more than 80% of the cases.

研究动机与目标

• 解决风格化、非写实漫画面部中面部关键点检测的挑战，这些面部与真实人类面部的比例和对称性存在显著差异。
• 开发一种新的、专为漫画设计的面部关键点标注模型，以在多样化的艺术风格中实现关键点标注的标准化。
• 创建并发布一个包含750幅漫画面部、每张图标注68个关键点的公开数据集，以支持未来在漫画图像分析方面的研究。
• 实现并评估一种专为漫画面部独特视觉特征量身定制的基于深度学习的面部关键点检测系统。
• 提升在情感估计、角色动画和数字漫画人脸编辑等应用中的关键点检测性能。

提出的方法

• 采用深度对齐网络（DAN）架构，这是一种多阶段深度学习框架，其中每一阶段均对前一阶段的关键点预测进行优化。
• 使用两阶段训练策略：第一阶段提供初始关键点估计，第二阶段利用完整图像上下文和特征优化进行精炼。
• 应用数据增强技术以提升泛化能力并减少过拟合，尤其针对漫画数据集规模有限的问题。
• 通过下颌至下颌距离（D_chin）对关键点误差进行归一化，使性能指标对图像尺度和大小保持不变。
• 将成功定义为归一化均值误差（S）低于0.0333，该值对应于人类标注者之间最大可接受的差异。
• 使用三种指标评估性能：归一化单位下的均值误差、阈值α以内累积分布曲线下面积（A_α），以及失败率（S > 0.0333的图像占比）。

实验结果

研究问题

• RQ1 尽管存在风格化、非均匀的面部比例和艺术风格差异，基于深度学习的面部关键点检测系统是否能在漫画图像上实现高精度？
• RQ2 两阶段深度对齐网络在漫画特定关键点检测中的表现与单阶段版本相比如何？
• RQ3 在有限的漫画数据集上，数据增强在提升泛化能力和减少过拟合方面的效果如何？
• RQ4 在真实人类面部上进行训练是否能提升在漫画关键点检测上的性能，即使测试数据完全来自漫画？
• RQ5 增加网络阶段数量（例如三阶段）对检测精度和计算成本有何影响？

主要发现

• 采用数据增强的两阶段深度对齐网络取得了最佳性能，失败率为19.31%，显著优于单阶段模型（失败率52.41%）。
• 最佳两阶段模型结合数据增强后，归一化误差（以下巴距离为基准）降低至0.02935，而无增强的单阶段模型为0.04355。
• 最佳模型的累积分布曲线下面积（A_α）达到0.24295，表明在多种误差阈值下均表现出色。
• 该模型在超过80%的情况下实现了准确的关键点检测，尤其在正面、中性表情及中等面部形变情况下表现最佳。
• 三阶段模型在性能上未超越两阶段设置，表明增加额外优化阶段的收益递减。
• 失败阈值0.0333基于人类标注者间差异设定，证实在此范围内的预测符合人类判断标准。