[论文解读] Makeup like a superstar: Deep Localized Makeup Transfer Network

Si Liu, Xinyu Ou+3 more|arXiv (Cornell University)|Apr 25, 2016

Face recognition and analysis参考文献 20被引用 43

一句话总结

本文提出了一种深度局部化美妆迁移网络，可自动推荐个性化美妆，并将粉底、眼影和唇彩局部化、针对性地、可控地迁移至目标人脸，实现明暗度的精确控制。该方法利用面部分割网络建立部位与化妆品之间的对应关系，并通过全局平滑正则化进行深度特征操作，实现了在定性和定量评估中均优于最先进方法的自然视觉效果。

ABSTRACT

In this paper, we propose a novel Deep Localized Makeup Transfer Network to automatically recommend the most suitable makeup for a female and synthesis the makeup on her face. Given a before-makeup face, her most suitable makeup is determined automatically. Then, both the beforemakeup and the reference faces are fed into the proposed Deep Transfer Network to generate the after-makeup face. Our end-to-end makeup transfer network have several nice properties including: (1) with complete functions: including foundation, lip gloss, and eye shadow transfer; (2) cosmetic specific: different cosmetics are transferred in different manners; (3) localized: different cosmetics are applied on different facial regions; (4) producing naturally looking results without obvious artifacts; (5) controllable makeup lightness: various results from light makeup to heavy makeup can be generated. Qualitative and quantitative experiments show that our network performs much better than the methods of [Guo and Sim, 2009] and two variants of NerualStyle [Gatys et al., 2015a].

研究动机与目标

• 开发一个端到端的深度学习系统，基于视觉相似性自动为给定的女性人脸推荐合适的美妆。
• 实现在参考人脸到素颜人脸之间的局部化、化妆品特定的粉底、眼影和唇彩迁移。
• 生成无明显伪影、与原始人脸无缝融合的自然美妆效果。
• 支持对美妆明暗度的可控调节，实现从淡妆到浓妆的连续效果。
• 在视觉质量与用户偏好方面均优于现有方法，如Guo和Sim（2009）以及NeuralStyle（Gatys等，2015a）

提出的方法

• 基于全卷积网络的面部分割网络用于生成素颜脸和参考脸的标签图，识别面部部位及与美妆相关的区域。
• 通过预训练的人脸识别网络中计算的欧氏距离度量深度特征相似性，建立对应面部区域（如嘴唇与嘴唇）之间的部位-化妆品对应关系。
• 通过直接操作深度特征实现眼影迁移，以保持形状；通过内积正则化实现粉底迁移，以平滑皮肤纹理。
• 通过局部特征调制实现唇彩迁移，以保持颜色与光泽的一致性。
• 将美妆后的人脸初始化为素颜人脸，并通过带全局平滑正则化的随机梯度下降进行优化，以确保自然外观。
• 通过调节各化妆品组件的权重，控制整体美妆的明暗度，实现从淡妆到浓妆的连续结果范围。

实验结果

研究问题

• RQ1 基于视觉相似性，基于深度学习的系统能否自动为给定的素颜人脸推荐最合适的美妆？
• RQ2 如何实现粉底、眼影和唇彩的迁移，以保持其独特的视觉特征和空间定位？
• RQ3 该系统能否在不产生伪影的情况下生成自然的美妆效果，尤其是在面部表情或肤色不同的情况下进行化妆品迁移时？
• RQ4 美妆明暗度的可控性在多大程度上可实现，以生成从淡妆到浓妆的完整效果谱？
• RQ5 与现有最先进方法（如Guo和Sim（2009）以及NeuralStyle（Gatys等，2015a））相比，该方法在定量和定性方面表现如何？

主要发现

• 与Guo和Sim（2009）相比，该方法在用户偏好测试中表现显著更优，9.7%的结果被评为‘明显更好’，55.9%为‘更好’。
• 与NeuralStyle-CC和NeuralStyle-CS相比，该方法在82.7%和82.8%的案例中被评为‘明显更好’，且无任何‘明显更差’的评价。
• 该方法成功实现了眼影和唇彩的精准迁移，保持了颜色与形状的高保真度，避免了Guo和Sim（2009）中常见的过度提亮问题。
• 由于采用局部化迁移策略，系统产生的伪影极少；而像NeuralStyle这样的全局迁移方法则常因对齐错误和纹理不匹配而产生伪影。
• 得益于其局部化设计，该系统能有效处理面部表情——例如在咧嘴笑时迁移唇彩而不影响牙齿。
• 该网络支持可控的美妆明暗度调节，用户可使用同一参考人脸生成从淡妆到浓妆的多种效果。