[论文解读] ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation

Dongxu Yue, Qin Guo+4 more|arXiv (Cornell University)|May 24, 2023

Face recognition and analysis被引用 4

一句话总结

ChatFace 引入了一种新颖的交互式系统，通过利用扩散模型的语义潜在空间，在大型语言模型（LLMs）和稳定操作策略（SMS）的引导下，实现高质量、零样本的真人面部图像编辑。该方法在多个面部属性的定量指标和人类评估中均优于先前的方法。

ABSTRACT

Editing real facial images is a crucial task in computer vision with significant demand in various real-world applications. While GAN-based methods have showed potential in manipulating images especially when combined with CLIP, these methods are limited in their ability to reconstruct real images due to challenging GAN inversion capability. Despite the successful image reconstruction achieved by diffusion-based methods, there are still challenges in effectively manipulating fine-gained facial attributes with textual instructions.To address these issues and facilitate convenient manipulation of real facial images, we propose a novel approach that conduct text-driven image editing in the semantic latent space of diffusion model. By aligning the temporal feature of the diffusion model with the semantic condition at generative process, we introduce a stable manipulation strategy, which perform precise zero-shot manipulation effectively. Furthermore, we develop an interactive system named ChatFace, which combines the zero-shot reasoning ability of large language models to perform efficient manipulations in diffusion semantic latent space. This system enables users to perform complex multi-attribute manipulations through dialogue, opening up new possibilities for interactive image editing. Extensive experiments confirmed that our approach outperforms previous methods and enables precise editing of real facial images, making it a promising candidate for real-world applications. Project page: https://dongxuyue.github.io/chatface/

研究动机与目标

• 为解决基于 GAN 的方法在重建和编辑真实面部图像时因 GAN 反演不稳定而带来的局限性。
• 通过实现任意、文本驱动的面部属性操作，克服基于扩散模型的方法中预定义编辑方向的限制。
• 开发一种交互式、用户友好的系统，能够理解自然语言查询，并对真实人脸执行复杂、多属性的编辑。
• 通过在生成过程中将扩散模型的时间特征与语义条件对齐，确保编辑的稳定性和语义一致性。
• 证明将 LLM 与扩散模型语义相结合，在细粒度、真实世界人脸编辑中具备可行性和优越性。

提出的方法

• 利用预训练的扩散自编码器（DAE）将真实面部图像反演为语义潜在码，实现高保真度的重建。
• 采用学习到的映射网络，将文本提示转换为扩散模型语义空间中的目标潜在码。
• 提出一种稳定操作策略（SMS），在每个去噪步骤中将扩散模型的时间特征与语义条件对齐，确保编辑的稳定与一致。
• 利用大型语言模型（LLM）解析复杂的自然语言编辑查询，提取用户意图，实现编辑方向的动态激活。
• 在原始码与目标码之间的语义潜在空间中执行线性插值，生成编辑图像，同时将身份漂移降至最低。
• 使用基于 CLIP 的度量（S_dir、SC、ID）和人类评估来优化并验证编辑的稳定性和真实性。

实验结果

研究问题

• RQ1 LLM 引导的文本提示是否能够在不依赖 GAN 反演的情况下，实现对真实面部图像的精确、零样本编辑？
• RQ2 如何稳定地操作扩散模型的语义潜在空间，以在改变特定面部属性的同时保持身份不变？
• RQ3 结合 LLM 与扩散模型的多模态系统是否能在复杂、多属性人脸编辑中实现优于现有方法的性能？
• RQ4 稳定操作策略（SMS）对保留低层次语义细节以及防止过度编辑或身份崩溃的影响如何？
• RQ5 该系统在多样化的用户查询下，于真实世界交互式编辑场景中的表现如何？

主要发现

• ChatFace 在 CelebA-HQ 上实现了 0.21 的方向性 CLIP 相似度（S_dir），优于所有基线方法，包括 StyleCLIP（0.13）、Stylegan-NADA（0.16）和 DiffusionCLIP（0.18）。
• 该方法实现了 89.7% 的分割一致性（SC）和 0.84 的人脸身份相似度（ID），表明在语义结构和身份保留方面表现强劲。
• 在人类评估中，ChatFace 在微笑方面获得 90.3%，卷发为 82.7%，化妆为 90.4%，眼镜为 94.2%，在所有属性上均显著优于其他方法。
• 消融研究证实 SMS 至关重要：若无 SMS，编辑会出现颜色溢出（如粉色口红蔓延至嘴唇之外）且低层次图像细节保留效果差。
• 该系统展示了连续编辑能力，允许用户通过自然语言对话执行顺序性、复杂的编辑操作。
• LLM 的集成实现了有效的意图理解与编辑方向的动态激活，显著提升了系统的可用性与灵活性。