[论文解读] LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup

Qiao Gu, Guanzhi Wang+3 more|arXiv (Cornell University)|Apr 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 9

一句话总结

LADN 提出了一种局部对抗解耦网络，通过使用重叠的局部判别器和非对称损失函数，实现了高保真、照片级真实的面部化妆迁移与去妆，尤其适用于具有高频细节的复杂、戏剧性妆容。该方法通过将化妆属性与身份和内容解耦，在多种化妆风格下保持面部结构和身份一致性，从而实现了最先进（SOTA）的性能。

ABSTRACT

We propose a local adversarial disentangling network (LADN) for facial makeup and de-makeup. Central to our method are multiple and overlapping local adversarial discriminators in a content-style disentangling network for achieving local detail transfer between facial images, with the use of asymmetric loss functions for dramatic makeup styles with high-frequency details. Existing techniques do not demonstrate or fail to transfer high-frequency details in a global adversarial setting, or train a single local discriminator only to ensure image structure consistency and thus work only for relatively simple styles. Unlike others, our proposed local adversarial discriminators can distinguish whether the generated local image details are consistent with the corresponding regions in the given reference image in cross-image style transfer in an unsupervised setting. Incorporating these technical contributions, we achieve not only state-of-the-art results on conventional styles but also novel results involving complex and dramatic styles with high-frequency details covering large areas across multiple facial features. A carefully designed dataset of unpaired before and after makeup images is released.

研究动机与目标

• 解决现有基于 GAN 的方法难以处理具有高频细节的戏剧性妆容迁移与去除的挑战。
• 克服全局判别器和单个局部判别器在跨域图像翻译过程中难以保持精细妆容细节与面部身份的局限性。
• 实现在无需成对训练数据或源图像与参考图像间精确对齐的情况下，无监督地保持身份的化妆迁移与去妆。
• 设计一种解耦表征，将化妆属性与内容和身份因素分离，从而实现风格插值与控制。
• 发布一个用于非商业研究用途的新未配对的前后化妆图像数据集。

提出的方法

• 引入多个重叠的局部对抗判别器，作用于图像中非重叠但空间相邻的图像块，以在图像翻译过程中强制实现局部细节的一致性。
• 采用内容-风格解耦自编码器架构，其中内容被编码在域不变空间中，而化妆风格则被编码在域特定的属性空间中。
• 在化妆迁移和去妆分支上应用非对称损失函数，以促进化妆潜在变量与身份和纹理因素的解耦。
• 在去妆分支中引入平滑性损失，以促进局部颜色连续性，减少高频妆容区域的伪影。
• 在源图像与重建图像之间引入循环一致性损失，以确保翻译过程中结构和身份的保持。
• 利用面部关键点检测来定义局部判别器的空间位置，从而在无需精确几何对齐的情况下实现鲁棒的定位。

实验结果

研究问题

• RQ1 局部对抗判别器是否能有效在不依赖全局判别器的情况下，将高频妆容细节跨大范围面部区域进行迁移？
• RQ2 在无监督设置下，非对称损失函数是否能成功将化妆属性从身份和纹理因素中解耦？
• RQ3 该网络是否能泛化到具有复杂色彩过渡和纹理、且不限于眼部或唇部的戏剧性妆容风格？
• RQ4 平滑性损失在去妆任务中是否能有效减少在颜色突变或高频细节区域的伪影？
• RQ5 解耦的属性空间是否能实现不同妆容风格之间的有意义插值，同时保持面部身份？

主要发现

• LADN 在面部化妆迁移与去妆任务中实现了最先进性能，尤其在具有高频细节的极端和戏剧性妆容风格下表现优异。
• 该方法成功实现了覆盖大范围面部区域（包括眼部和口部以外区域）的妆容迁移与去除，而此前的方法无法处理此类区域。
• 使用重叠的局部判别器相比全局判别器或单个局部判别器，能实现更精确的细节迁移，减少伪影并更好保留精细纹理。
• 非对称损失函数有效实现了化妆潜在变量的解耦，生成了保持面部身份的逼真输出。
• 平滑性损失显著提升了极端妆容的去妆效果，减少了颜色不连续性，并合理推测出自然的肤色。
• 在两种妆容风格之间进行插值可产生平滑、自然的色彩与纹理过渡，证明了解耦属性空间在风格混合与控制方面的实用性。