[论文解读] UGAN: Untraceable GAN for Multi-Domain Face Translation

Defa Zhu, Si Liu+5 more|arXiv (Cornell University)|Jul 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 14

一句话总结

UGAN 提出了一种新颖的不可追踪 GAN 框架，通过引入源域分类器以检测残留的源域特征，并采用目标原型注入机制以强制实现仅目标域属性，从而解决多领域人脸转换中的源域保留问题。该方法在人脸衰老、化妆和表情编辑任务中显著优于 SOTA 模型（如 StarGAN），在真实感和领域特定保真度方面表现更优，FID 分数更低，用户偏好率更高。

ABSTRACT

The multi-domain image-to-image translation is a challenging task where the goal is to translate an image into multiple different domains. The target-only characteristics are desired for translated images, while the source-only characteristics should be erased. However, recent methods often suffer from retaining the characteristics of the source domain, which are incompatible with the target domain. To address this issue, we propose a method called Untraceable GAN, which has a novel source classifier to differentiate which domain an image is translated from, and determines whether the translated image still retains the characteristics of the source domain. Furthermore, we take the prototype of the target domain as the guidance for the translator to effectively synthesize the target-only characteristics. The translator is learned to synthesize the target-only characteristics and make the source domain untraceable for the discriminator, so that the source-only characteristics are erased. Finally, extensive experiments on three face editing tasks, including face aging, makeup, and expression editing, show that the proposed UGAN can produce superior results over the state-of-the-art models. The source code will be released.

研究动机与目标

• 识别并解决多领域图像到图像转换中的源域保留现象，即转换后的图像仍保留与目标域不兼容的源域特征。
• 开发一种机制，显式擦除仅源域的特征（例如胡须、皱纹），同时合成逼真的仅目标域特征（例如光滑皮肤、大眼睛）。
• 在判别器中引入源域分类器，以检测转换图像是否仍携带源域的痕迹，从而实现针对性优化。
• 通过领域原型引导生成器，确保目标域属性（如面部结构和纹理）的忠实合成。
• 在三种人脸编辑任务中验证 UGAN 的有效性：人脸衰老、化妆编辑和表情编辑。

提出的方法

• 在判别器中训练一个源域分类器，以判断生成图像的源域，从而检测残留的源域特征。
• 通过优化生成器使其欺骗源域分类器，使源域不可追踪，从而鼓励完全擦除仅源域的特征。
• 提取目标域原型——关键属性（如儿童的圆脸）的统计表征——并将其注入生成器，以引导生成目标特定特征。
• 使用多损失目标联合训练生成器，包括对抗损失、循环一致性损失和原型引导的重建损失，以确保图像保真度和领域特异性。
• 采用双判别器结构：一个用于领域分类，一个用于源域追踪，实现解耦优化。
• 通过在生成器跳跃连接处进行特征级调制实现原型注入，使生成特征与目标域统计特性对齐。

实验结果

研究问题

• RQ1 源域分类器能否有效检测转换图像中残留的源域特征，尤其是在领域分类器失效的情况下？
• RQ2 通过源域混淆实现的不可追踪训练，在多领域人脸转换中能在多大程度上减少源域保留？
• RQ3 原型注入在改善真实目标域属性（如面部结构和纹理）合成方面效果如何？
• RQ4 所提出的 UGAN 框架是否在多种人脸编辑任务中，于定量指标和人类评估方面均优于 SOTA 模型（如 StarGAN）？
• RQ5 UGAN 框架是否能泛化到人脸编辑以外的图像转换任务，如语言或风格迁移？

主要发现

• 在 CelebA-HQ 人脸衰老数据集上，UGAN 的平均域内 FID 达到 28.4，显著低于 StarGAN 的 44.8，表明图像质量和领域一致性更优。
• 在 Amazon Mechanical Turk 的用户研究中，UGAN 在将人脸转换至 0–10 岁年龄段时，在 86.8% 的案例中优于 StarGAN，表明用户更偏好更逼真的童年外貌。
• 在所有年龄组差距下，UGAN 的源图像与转换图像特征之间的平均余弦相似度均更低，证实其更有效地擦除了源域特征。
• 定性结果表明，UGAN 在儿童年龄转换中成功消除了胡须和皱纹，且生成了自然的化妆和表情变化，而 StarGAN 仍保留原始特征。
• 在 MAKEUP-A5 数据集上，UGAN 生成了更自然的腮红和眼影分布，避免了 StarGAN 输出中常见的不对称和不自然纹理。
• 在表情编辑任务中，UGAN 准确捕捉了复合表情与基本表情之间的细微差异（例如“惊喜地开心”与“开心”），而 StarGAN 仍保留了原始表情（如紧皱的眉毛）