[论文解读] AnyFace: Free-style Text-to-Face Synthesis and Manipulation

Jianxin Sun, Qiyao Deng+4 more|arXiv (Cornell University)|Mar 29, 2022

Face recognition and analysis被引用 5

一句话总结

AnyFace 提出首个自由风格的文本到人脸生成与操控框架，通过基于 CLIP 的特征对齐与新型多样三元组损失，采用双流架构，实现从任意文本描述生成高质量、高多样性的人脸。其在多模态 CelebA-HQ 与 CelebAText-HQ 数据集上达到最先进性能，支持开放世界、多字幕及连续文本引导的人脸操控，且对字幕数量、内容或格式无限制。

ABSTRACT

Existing text-to-image synthesis methods generally are only applicable to words in the training dataset. However, human faces are so variable to be described with limited words. So this paper proposes the first free-style text-to-face method namely AnyFace enabling much wider open world applications such as metaverse, social media, cosmetics, forensics, etc. AnyFace has a novel two-stream framework for face image synthesis and manipulation given arbitrary descriptions of the human face. Specifically, one stream performs text-to-face generation and the other conducts face image reconstruction. Facial text and image features are extracted using the CLIP (Contrastive Language-Image Pre-training) encoders. And a collaborative Cross Modal Distillation (CMD) module is designed to align the linguistic and visual features across these two streams. Furthermore, a Diverse Triplet Loss (DT loss) is developed to model fine-grained features and improve facial diversity. Extensive experiments on Multi-modal CelebA-HQ and CelebAText-HQ demonstrate significant advantages of AnyFace over state-of-the-art methods. AnyFace can achieve high-quality, high-resolution, and high-diversity face synthesis and manipulation results without any constraints on the number and content of input captions.

研究动机与目标

• 解决现有文本到图像模型在人脸生成中受限于固定、数据集中字幕的局限性。
• 实现对任意数量、内容与格式的文本描述的自由风格文本到人脸生成与操控。
• 在文本引导的人脸生成中提升面部多样性与语义一致性，超越一对一的文本-图像特征对齐。
• 开发支持开放世界应用（如元宇宙、社交媒体与数字美妆）的框架。
• 通过新型跨模态蒸馏与三元组损失机制，突破先前方法在固定字幕模板与有限词汇量上的限制。

提出的方法

• 提出双流框架：一路用于文本到人脸生成，另一路用于人脸图像重建，通过跨模态交互独立训练。
• CLIP 编码器提取文本与图像特征，实现对数据集外描述的零样本泛化。
• 引入跨模态蒸馏（CMD）模块，通过跨模态迁移损失在双流间对齐语言与视觉特征，避免严格的一对一特征匹配。
• 提出多样三元组损失（DT loss），在保持文本相关性的同时，鼓励生成多样化的细微面部属性（如发型、配饰）。
• 通过调整文本嵌入尺寸，实现人脸操控中的连续控制，支持属性间的平滑过渡。
• 模型采用基于 StyleGAN 的生成方式，结合 CLIP 编码的文本提示，生成逼真、高分辨率的人脸。

Figure 2 : Overview of AnyFace. It consists of a face synthesis network and a face reconstruction network. Text Enc and Image Enc represent CLIP text and image encoder respectively. Dec is the pre-trained StyleGAN decoder. (a) Detailed architecture of Cross Modal Distillation (CMD) module. (b) For t

实验结果

研究问题

• RQ1 文本到人脸模型能否在无需固定模板或词汇表的情况下，泛化至任意数据集外的文本描述？
• RQ2 如何在保持与复杂多字幕描述高度语义对齐的前提下，提升文本到图像生成中的人脸多样性？
• RQ3 将一对一的文本-图像特征匹配替换为更灵活的一对多对齐策略，其影响是什么？
• RQ4 双流框架结合跨模态蒸馏与三元组损失，能否在人脸生成与操控任务中超越现有方法的多字幕 T2I 性能？
• RQ5 该模型在多大程度上能通过自然语言描述实现连续、细粒度的人脸操控？

主要发现

• AnyFace 在多模态 CelebA-HQ 与 CelebAText-HQ 上达到最先进性能，FID 指标与视觉质量显著优于先前方法。
• 多样三元组损失（DT loss）显著提升面部多样性，减少对常见特征（如微笑、短发）的过拟合。
• 跨模态迁移损失（CMT）加速收敛并改善 FID，完整模型相比消融版本更快达到更低的 FID 值。
• 定性结果表明，AnyFace 即使在抽象或多句描述下（如 'bad news' 生成悲伤表情）也能生成逼真且多样的人脸。
• 文本引导的操控实现连续控制：提升文本相关性可带来更平滑、更准确的属性变化（如发色、表情、年龄）。
• 模型成功泛化至数据集外描述，如将 'PhD' 对应为 'mortarboard'，将 'programmer' 对应为 'bald'，展示对语义概念的零样本理解能力。

Figure 3 : Comparison between (a) pairwise loss and (b) diverse triplet loss. The pairwise loss learns an one-to-one mapping from text embedding $w_{t}$ to target $w$ , but in fact it often converges to average embedding $\overline{w}$ with an unique result. In contrast, diverse triplet loss follows