[论文解读] A Visual Representation for Editing Face Images

Jiajun Lu, Kalyan Sunkavalli+3 more|arXiv (Cornell University)|Dec 2, 2016

Face recognition and analysis参考文献 24被引用 5

一句话总结

本文提出了一种新颖的面部图像编辑视觉表征，结合可变形人脸几何、反照率、光照和非参数化细节图，实现逼真的光照重演、化妆转移和面部细节编辑。通过将低频阴影与高频细节分离，该方法在感知真实感方面达到最先进水平，用户研究表明在90%以上的案例中结果与真实图像无法区分。

ABSTRACT

We propose a new approach for editing face images, which enables numerous exciting applications including face relighting, makeup transfer and face detail editing. Our face edits are based on a visual representation, which includes geometry, face segmentation, albedo, illumination and detail map. To recover our visual representation, we start by estimating geometry using a morphable face model, then decompose the face image to recover the albedo, and then shade the geometry with the albedo and illumination. The residual between our shaded geometry and the input image produces our detail map, which carries high frequency information that is either insufficiently or incorrectly captured by our shading process. By manipulating the detail map, we can edit face images with reality and identity preserved. Our representation allows various applications. First, it allows a user to directly manipulate various illumination. Second, it allows non-parametric makeup transfer with input face's distinctive identity features preserved. Third, it allows non-parametric modifications to the face appearance by transferring details. For face relighting and detail editing, we evaluate via a user study and our method outperforms other methods. For makeup transfer, we evaluate via an online attractiveness evaluation system, and can reliably make people look younger and more attractive. We also show extensive qualitative comparisons to existing methods, and have significant improvements over previous techniques.

研究动机与目标

• 开发一种统一的视觉表征以实现面部图像编辑，保持身份一致性的同时实现逼真外观操控。
• 实现在无需多张参考图像的情况下对单张面部图像进行交互式光照重演。
• 实现高保真、非参数化的化妆转移，同时保留供体的身份和面部结构。
• 支持细粒度的面部细节编辑（例如皮肤纹理、毛孔、皱纹），同时保持真实感。
• 提供一种定量、基于感知的评估框架，用于衡量面部光照重演和编辑质量。

提出的方法

• 将可变形人脸模型注册到输入面部，以估计粗略的3D几何结构。
• 使用估计的光照和Lambertian光照模型，将输入图像分解为反照率和阴影。
• 通过渲染图像与输入图像之间的残差计算细节图，捕捉高频偏差。
• 利用细节图进行非参数化编辑：转移化妆、重演光照或修改表面细节。
• 在化妆转移过程中应用乘法细节图混合，以保持身份一致性。
• 通过用户研究和在线吸引力评估，定量评估感知质量。

实验结果

研究问题

• RQ1 结合几何、反照率、光照和细节图的统一视觉表征是否能够实现逼真且交互式的面部图像编辑？
• RQ2 与现有技术相比，该方法在单张面部图像光照重演方面的有效性如何？
• RQ3 非参数化化妆转移是否能够在不同化妆风格下保留身份并产生逼真结果？
• RQ4 用户在多大程度上能够将编辑后的面部与真实图像区分开来，从而反映其感知真实感？
• RQ5 与基线模型相比，细节图组件是否显著提升了面部编辑质量？

主要发现

• 在用户研究中，该方法在光照重演和细节转移任务中的错误率分别为90.5%和92.5%，表明结果几乎与真实图像无法区分。
• 在化妆转移任务中，该方法在在线评估中显著提升了感知吸引力和年轻感，用户评价其结果比基线方法更具吸引力。
• 用户研究结果显示，即使是有经验的用户也难以可靠地区分编辑后的图像与真实图像，证实了其高度的感知真实感。
• 若缺少可变形模型或细节图，性能会显著下降，证明两者对高质量结果均不可或缺。
• 该方法在所有评估任务中均优于现有技术，包括光照重演、化妆转移和细节编辑，兼具定性和定量优势。
• 细节图方法即使在几何和反照率估计不准确的情况下也能实现稳健编辑，证明其对模型误差具有鲁棒性。