[论文解读] Cross-Domain Style Mixing for Face Cartoonization

Seungkwon Kim, Chaeheon Gwak+5 more|arXiv (Cornell University)|May 25, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出了一种名为跨域风格混合的新方法，通过在层交换的StyleGAN2的StyleSpace中结合自然人脸域与动漫域的潜在码，仅使用一个生成器即可实现高质量的人脸动漫化。该方法有效解决了色彩失真问题，并保留了精细的动漫特征，仅需极少的训练数据，即可通过简单的角色ID切换实现对多个动漫角色的统一风格化。

ABSTRACT

Cartoon domain has recently gained increasing popularity. Previous studies have attempted quality portrait stylization into the cartoon domain; however, this poses a great challenge since they have not properly addressed the critical constraints, such as requiring a large number of training images or the lack of support for abstract cartoon faces. Recently, a layer swapping method has been used for stylization requiring only a limited number of training images; however, its use cases are still narrow as it inherits the remaining issues. In this paper, we propose a novel method called Cross-domain Style mixing, which combines two latent codes from two different domains. Our method effectively stylizes faces into multiple cartoon characters at various face abstraction levels using only a single generator without even using a large number of training images.

研究动机与目标

• 解决现有图像到图像转换（I2I）与层交换方法在人脸动漫化中的局限性，特别是对抽象动漫风格泛化能力差以及色彩伪影问题。
• 克服以往层交换方法在处理高度抽象动漫人脸时缺乏细节与色彩失真的问题。
• 仅需每名角色少量训练图像，即可使单一生成器在不同抽象层级下对多个动漫角色实现风格化。
• 开发一种稳定、高效且可部署的框架，无需额外训练技巧或架构修改，仅通过微调即可实现。
• 将方法扩展至实际应用，如照片到动漫、视频到动漫转换，并在时间维度上保持风格一致性。

提出的方法

• 使用预训练编码器（如ReStyle）将自然人脸图像反演至源域的$\mathcal{W+}$空间。
• 应用投影协议，获取动漫图像在$\mathcal{W+}$空间中的潜在码，确保与源域的兼容性。
• 在$\mathcal{S}$空间（StyleSpace）中使用源域与目标域的潜在码进行风格混合，以实现角色特异性风格的迁移。
• 引入tRGB替换技术，仅操纵$s_{tRGB}$风格参数，使输出的色彩分布与目标动漫域对齐，从而消除色彩伪影。
• 将tRGB替换与风格混合结合，同时保留精细的动漫特征与正确的色彩分布。
• 将所得框架作为核心模块，用于下游应用，如照片到动漫、视频到动漫转换，并实现帧间风格一致性。

实验结果

研究问题

• RQ1 当目标动漫风格高度抽象且与真实人脸差异显著时，如何提升人脸动漫化在质量和稳定性方面的表现？
• RQ2 基于层交换的GAN方法在动漫化中产生色彩失真的原因是什么？能否系统性地加以缓解？
• RQ3 跨域风格混合——即结合不同域的潜在码——是否可在无需额外训练或架构修改的情况下有效应用于风格化？
• RQ4 在极低数据量且无需微调的前提下，单一生成器在多角色动漫风格化中的能力边界在哪里？
• RQ5 所提方法能否扩展至视频到动漫转换，并在时间维度上保持风格的一致性？

主要发现

• tRGB替换方法通过专门操纵$s_{tRGB}$风格参数，成功消除了生成结果中的色彩伪影，且对人脸结构无影响。
• 在$\mathcal{S}$空间中的风格混合能有效迁移关键角色特异性特征，如独特的嘴型与睫毛形态。
• $\mathcal{W+}$空间相比$\mathcal{W}$空间能更优地保留精细的动漫细节，验证了其在反演任务中的适用性。
• 完整模型在无需任何退化的情况下实现高质量风格化，在视觉保真度与一致性方面均优于传统层交换方法。
• 该方法实现了“一劳永逸”的风格化：仅通过切换角色ID，单一生成器即可为多个角色生成动漫化人脸。
• 该框架支持鲁棒的视频到动漫转换，由于通过潜在码混合实现显式且稳定的风格注入，使得帧间角色风格保持一致。