[论文解读] DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

Xiaoguang Han, Chang Gao+1 more|The HKU Scholars Hub (University of Hong Kong)|Jun 7, 2017

Face recognition and analysis参考文献 46被引用 78

一句话总结

论文提出基于CNN的深度回归系统，用于将2D面部素描转换为3D面部或漫画风格模型，使用双线性可变形表示，具备交互式绘制和基于手势的细化，在扩展的15,000模型数据库上训练。

ABSTRACT

Face modeling has been paid much attention in the field of visual computing. There exist many scenarios, including cartoon characters, avatars for social media, 3D face caricatures as well as face-related art and design, where low-cost interactive face modeling is a popular approach especially among amateur users. In this paper, we propose a deep learning based sketching system for 3D face and caricature modeling. This system has a labor-efficient sketching interface, that allows the user to draw freehand imprecise yet expressive 2D lines representing the contours of facial features. A novel CNN based deep regression network is designed for inferring 3D face models from 2D sketches. Our network fuses both CNN and shape based features of the input sketch, and has two independent branches of fully connected layers generating independent subsets of coefficients for a bilinear face representation. Our system also supports gesture based interactions for users to further manipulate initial face models. Both user studies and numerical results indicate that our sketching system can help users create face models quickly and effectively. A significantly expanded face database with diverse identities, expressions and levels of exaggeration is constructed to promote further research and evaluation of face modeling techniques.

研究动机与目标

• 为业余爱好者和设计师推动高效、富表达性的3D面部建模。
• 开发一个将2D素描映射到3D面部网格系数的深度回归模型。
• 利用双线性可变形表示来分离身份和表情。
• 提供一个交互界面，包含初始绘制、后续绘制和基于手势的细化。
• 构建并发布一个规模大且多样化的脸部数据库，用于训练和评估。

提出的方法

• 将2D素描表示为256x256二值图像，并通过受AlexNet启发的网络提取CNN特征。
• 同时学习一个具有身份(identity)和表达(expression)模态的双线性可变形模型，以从素描系数重建3D顶点。
• 在网络中使用两个独立分支来预测身份(u)和表达(v)向量，以避免干扰。
• 通过在轮廓/轮廓线上采样点并将其编码为传入每个分支的定长向量来加入形状级输入。
• 引入顶点损失层，在端到端训练中最小化真实顶点位置与预测顶点位置之间的L2距离。
• 分三阶段训练：身份/表达分类，然后是u-v回归，随后用顶点级损失进行微调；通过合成和手绘素描来扩充数据。

实验结果

研究问题

• RQ1 基于 CNN 的回归模型是否能够从自由手绘的 2D 草图中准确推断出 3D 面部形状？
• RQ2 在草图到3D推断中，如何通过双线性可变形表示来分离身份和表达？
• RQ3 带有后续绘画和手势细化的高效绘图界面是否能快速生成可用的3D面部？
• RQ4 扩展且多样化的3D面部数据库对草图推断的训练与评估有何影响？

主要发现

• 深度回归网络可以通过双线性身份-表达模型从2D草图推断3D面部网格。
• 两分支架构可减少身份与表达系数之间的干扰并改善重建精度。
• 该系统支持三种交互模式（初始绘制、后续绘制和基于手势的细化），实现实时的快速建模更新。
• 扩展后的15,000个网格数据库（150个身份，25种表情，4个夸张水平）提升了草图驱动的面部建模的训练与评估。
• 在用户研究中，业余用户可以在几分钟内创建3D面部或漫画风格模型（示例显示不足10分钟；平均约8分钟）。