[论文解读] Controlled Face Manipulation and Synthesis for Data Augmentation

Joris Kirchner, Amogh Gudi+2 more|arXiv (Cornell University)|Feb 22, 2026

Face recognition and analysis被引用 0

一句话总结

本文提出一种语义潜在空间的面部操控方法（Diffusion Autoencoder）用于数据增强，聚焦于在降低纠缠和伪影的情况下控制动作单元（AUs）。它提升了AU检测器的训练效果，生成更具多样性且保持身份的合成图像。

ABSTRACT

Deep learning vision models excel with abundant supervision, but many applications face label scarcity and class imbalance. Controllable image editing can augment scarce labeled data, yet edits often introduce artifacts and entangle non-target attributes. We study this in facial expression analysis, targeting Action Unit (AU) manipulation where annotation is costly and AU co-activation drives entanglement. We present a facial manipulation method that operates in the semantic latent space of a pre-trained face generator (Diffusion Autoencoder). Using lightweight linear models, we reduce entanglement of semantic features via (i) dependency-aware conditioning that accounts for AU co-activation, and (ii) orthogonal projection that removes nuisance attribute directions (e.g., glasses), together with an expression neutralization step to enable absolute AU edit. We use these edits to balance AU occurrence by editing labeled faces and to diversify identities/demographics via controlled synthesis. Augmenting AU detector training with the generated data improves accuracy and yields more disentangled predictions with fewer co-activation shortcuts, outperforming alternative data-efficient training strategies and suggesting improvements similar to what would require substantially more labeled data in our learning-curve analysis. Compared to prior methods, our edits are stronger, produce fewer artifacts, and preserve identity better.

研究动机与目标

• 解决面部分析任务中的标签稀缺和类别不平衡问题。
• 开发一种可控且最小化伪影的面部操控方法用于AU编辑。
• 在保持身份与多样性的前提下平衡AU出现频次。
• 通过表情中和步骤实现对AU的绝对编辑。
• 展示数据增强对AU检测器的提升，编辑强于先前方法。

提出的方法

• 在预训练人脸生成器（Diffusion Autoencoder）的语义潜在空间中执行编辑。
• 使用轻量线性模型以降低语义特征的纠缠。
• 应用依赖感知条件化以考虑AU的共激活。
• 应用正交投影去除无关属性方向（如眼镜等）。
• 包含表情中和步骤以实现对AU的绝对编辑。
• 使用编辑后的数据平衡AU出现频次并丰富身份/人口统计多样性。

实验结果

研究问题

• RQ1 在基于扩散的潜在空间中进行可控的面部编辑，是否能在减少伪影的同时实现更强的AU操控？
• RQ2 依赖感知条件化与正交投影是否能降低AU纠缠和非目标属性的泄漏？
• RQ3 与基线数据高效策略相比，使用拟议的编辑对AU检测的训练是否能提升准确性和解纠缠？
• RQ4 编辑在保持身份的同时，对不同人口统计特征和身份生成的多样性有多好？

主要发现

• 在语义潜在空间中的编辑比先前方法产生更强的AU操控且伪影更少。
• 依赖感知条件化与正交投影降低了AU共激活带来的纠缠以及无关属性的泄漏。
• 表情中和使得对AU的编辑达到绝对水平，有助于平衡AU数据增强。
• 用生成数据增强AU检测器训练可提升准确性并产生更解纠缠的预测。
• 所提出的方法在提升AU检测性能和数据多样性方面，优于其他数据高效训练策略。