[论文解读] CaricatureShop: Personalized and Photorealistic Caricature Sketching

Xiaoguang Han, Kangcheng Hou+5 more|arXiv (Cornell University)|Jul 24, 2018

Face recognition and analysis参考文献 30被引用 12

一句话总结

本论文提出 CaricatureShop，这是首个通过基于草图的3D人脸夸张技术，从肖像照片创建个性化、逼真漫画像的交互式系统。它利用深度学习模型将2D草图映射到3D人脸模型上的顶点级缩放因子，随后进行3D形变、纹理重渲染，并结合基于深度学习的细节增强与光照重布，生成高保真结果，其逼真度与身份保留性优于现有方法。

ABSTRACT

In this paper, we propose the first sketching system for interactively personalized and photorealistic face caricaturing. Input an image of a human face, the users can create caricature photos by manipulating its facial feature curves. Our system firstly performs exaggeration on the recovered 3D face model according to the edited sketches, which is conducted by assigning the laplacian of each vertex a scaling factor. To construct the mapping between 2D sketches and a vertex-wise scaling field, a novel deep learning architecture is developed. With the obtained 3D caricature model, two images are generated, one obtained by applying 2D warping guided by the underlying 3D mesh deformation and the other obtained by re-rendering the deformed 3D textured model. These two images are then seamlessly integrated to produce our final output. Due to the severely stretching of meshes, the rendered texture is of blurry appearances. A deep learning approach is exploited to infer the missing details for enhancing these blurry regions. Moreover, a relighting operation is invented to further improve the photorealism of the result. Both quantitative and qualitative experiment results validated the efficiency of our sketching system and the superiority of our proposed techniques against existing methods.

研究动机与目标

• 开发一种交互式系统，从肖像照片创建个性化、逼真的漫画像。
• 解决将稀疏2D草图输入映射到密集、非线性3D面部形变，同时保持身份特征的挑战。
• 克服因3D重渲染过程中大范围网格形变导致的纹理模糊与阴影不一致问题。
• 无缝融合3D形变区域与非3D区域（如头发、背景），避免伪影。
• 通过基于深度学习的细节推理与全局光照重布，提升逼真度。

提出的方法

• 使用现有的3D重建技术，从2D肖像重建3D人脸模型。
• 利用一种将问题视为在2D参数域上进行图像到图像翻译的深度学习架构，将2D草图编辑映射为顶点级缩放因子。
• 通过基于预测缩放场的顶点拉普拉斯值缩放，实施3D网格形变。
• 生成两张图像：一张通过3D网格形变引导的2D形变，另一张通过形变后3D纹理模型重渲染得到。
• 无缝融合两张图像，生成最终输出，最大限度减少边界伪影。
• 使用基于图像块、残差学习的Pix2Pix网络，对模糊纹理区域进行高频频段细节推理，以增强清晰度。
• 应用全局阴影优化与光照重布步骤，以提升逼真度。

实验结果

研究问题

• RQ1 如何有效将稀疏2D草图输入映射到用于漫画像创作的密集、非线性3D面部形变？
• RQ2 何种深度学习架构能够稳健学习2D草图与3D顶点级夸张因子之间复杂、非线性的映射关系？
• RQ3 如何有效缓解3D重渲染图像中因大范围网格形变导致的纹理模糊问题？
• RQ4 如何在融合3D形变面部区域与非3D区域（如头发、背景）时最小化伪影？
• RQ5 基于深度学习的光照重布与细节增强在多大程度上能提升3D重建漫画像的逼真度？

主要发现

• 所提出的 caricNet 架构通过将拉普拉斯与草图特征展平为2D图像图，并采用基于残差的Pix2Pix网络，在夸张推理任务中实现最低MSE（245.1），优于如 caricNet-Vertex 与 caricNet-w/oTransform 等变体。
• 基于图像块、残差学习的面部细节增强方法将平均MSE降低至21.0，显著优于非残差基线（27.1），验证了其在高频频段细节恢复中的有效性。
• 与基线方法（如 naiveDeform 与 deepSketch2Face）相比，系统最终输出在逼真度与立体感方面表现更优，定性对比结果清晰显示。
• 消融研究证实，将草图特征展平以及在网络中使用特征变换层对性能至关重要；无草图展平的变体（caricNet-w/oSketchFlatten）MSE高达426.5，显著更高。
• 系统在大范围形变下仍能有效保留面部身份特征，经定性结果与用户偏好对比验证。
• 局限性包括面部配饰（如眼镜）出现形变，以及在复杂光照环境下因全局光照估计带来的挑战。