[论文解读] Facelet-Bank for Fast Portrait Manipulation

Ying-Cong Chen, Huaijia Lin+6 more|arXiv (Cornell University)|Mar 15, 2018

Face recognition and analysis参考文献 31被引用 13

一句话总结

本文提出 Facelet-Bank，一种快速、灵活且端到端的 CNN 框架，用于通用人像编辑，无需成对训练数据。它利用可学习的中间卷积层面部组件库（facelet-bank），实现对表情、妆容和配饰等面部属性的快速、可控编辑，实现高达 3,371 倍于先前方法（如 DFI）的高分辨率、高质量结果。

ABSTRACT

Digital face manipulation has become a popular and fascinating way to touch images with the prevalence of smartphones and social networks. With a wide variety of user preferences, facial expressions, and accessories, a general and flexible model is necessary to accommodate different types of facial editing. In this paper, we propose a model to achieve this goal based on an end-to-end convolutional neural network that supports fast inference, edit-effect control, and quick partial-model update. In addition, this model learns from unpaired image sets with different attributes. Experimental results show that our framework can handle a wide range of expressions, accessories, and makeup effects. It produces high-resolution and high-quality results in fast speed.

研究动机与目标

• 开发一种通用、数据驱动的框架，用于多样化的面部属性编辑，且无需成对训练数据。
• 实现实时人像编辑应用中的快速推理与编辑强度的交互式控制。
• 将不同面部效果解耦为模块化、可更新的卷积层，以提升系统可扩展性与开发友好性。
• 通过利用深层特征插值中的伪标签与内置局部归纳偏置，应对噪声或不完美监督的挑战。
• 通过学习局部化、语义感知的变换而非全局图像级映射，实现对相关属性（如胡须与性别）的有效解耦。

提出的方法

• 采用编码器-解码器架构，共享编码器，并引入可学习的中间卷积层面部组件库（Conv-ReLU-Conv-ReLU-Conv），用于建模特定面部效果。
• 利用深度特征插值（DFI）生成无配对训练数据的伪目标图像，实现弱监督学习，无需人工标注成对数据。
• 通过潜在空间中最近邻平均计算得到的可学习属性方向偏移 Δv，控制编辑强度与风格迁移。
• 采用多层聚合策略，将多个面部组件库层（如第 3、4、5 层）组合使用，以提升编辑的定位精度与完整性。
• 引入轻量级、端到端的训练流程，避免昂贵操作如人脸形变、最近邻搜索与反向优化。
• 通过仅计算一次潜在码与 Δv，再通过简单前向传播调节强度 λ，实现实时推理：E(x) + λΔv → D。

实验结果

研究问题

• RQ1 单一深度学习框架能否在无需成对训练数据的情况下，泛化于多样化的面部属性编辑（如表情、妆容与配饰）？
• RQ2 在基于深度学习的人像编辑系统中，如何实现编辑强度的交互式且高效控制？
• RQ3 可学习的模块化面部组件库架构能否在质量与速度上超越现有集合到集合的图像翻译方法（如 DFI 与 CycleGAN）？
• RQ4 当在无配对数据上训练时，模型在解耦相关属性（如胡须与性别）方面效果如何？
• RQ5 卷积层提供的局部归纳偏置在弱监督训练中，对噪声伪标签的鲁棒性提升有多大作用？

主要发现

• 所提出的 Facelet-Bank 框架在无需成对训练数据的情况下，实现了对多样化面部属性（如微笑、胡须与衰老）的高质量人像编辑。
• 该方法比 DFI 快 3,371 倍，推理时间仅 0.0194 秒（对比 DFI 的 65.4 秒），同时保持或提升了视觉质量。
• 模型支持编辑强度的实时控制，强度调节的推理延迟仅为 9ms，适用于交互式编辑。
• 多层聚合（第 3、4、5 层）逐步去除面部毛发，仅当所有层同时使用时才能实现完全去除。
• 在解耦相关属性（如在女性面部添加胡须而不改变其性别化面部特征）方面，模型优于 DFI 与 CycleGAN。
• 结合 DFI 生成的伪标签与卷积层的局部归纳偏置，即使在监督信号存在噪声的情况下，仍能实现鲁棒训练，生成真实且局部化的编辑结果。