[論文レビュー] Controlled Face Manipulation and Synthesis for Data Augmentation

Joris Kirchner, Amogh Gudi+2 more|arXiv (Cornell University)|Feb 22, 2026

Face recognition and analysis被引用数 0

ひとこと要約

この論文は、データ拡張のための意味的潜在空間顔操作法（Diffusion Autoencoder）を導入し、Action Units（AUs）を制御する際の絡みつきとアーティファクトを削減することに焦点を当てています。AU検出器の訓練を改善し、同一性を保持したままより多様な合成を実現します。

ABSTRACT

Deep learning vision models excel with abundant supervision, but many applications face label scarcity and class imbalance. Controllable image editing can augment scarce labeled data, yet edits often introduce artifacts and entangle non-target attributes. We study this in facial expression analysis, targeting Action Unit (AU) manipulation where annotation is costly and AU co-activation drives entanglement. We present a facial manipulation method that operates in the semantic latent space of a pre-trained face generator (Diffusion Autoencoder). Using lightweight linear models, we reduce entanglement of semantic features via (i) dependency-aware conditioning that accounts for AU co-activation, and (ii) orthogonal projection that removes nuisance attribute directions (e.g., glasses), together with an expression neutralization step to enable absolute AU edit. We use these edits to balance AU occurrence by editing labeled faces and to diversify identities/demographics via controlled synthesis. Augmenting AU detector training with the generated data improves accuracy and yields more disentangled predictions with fewer co-activation shortcuts, outperforming alternative data-efficient training strategies and suggesting improvements similar to what would require substantially more labeled data in our learning-curve analysis. Compared to prior methods, our edits are stronger, produce fewer artifacts, and preserve identity better.

研究の動機と目的

• ラベル不足とクラス不均衡を face analysis タスクで解消する。
• AU編集のための制御可能でアーティファクトを最小化する顔操作法を開発する。
• 合成データの同一性と多様性を保ちながらAUの発生を均等化する。
• 表情中立化ステップを介して絶対的なAU編集を可能にする。
• 従来の手法より強力な編集でAU検出器のデータ拡張効果を示す。

提案手法

• 事前訓練済みの顔生成器（Diffusion Autoencoder）の意味的潜在空間で編集を行う。
• 意味的特徴の絡みつきを低減するために軽量な線形モデルを用いる。
• AUの共発火を考慮した依存性対応の条件付けを適用する。
• 無関係属性方向（例：メガネ）を除去する直交射影を適用する。
• 絶対的なAU編集を可能にする表情中立化ステップを含む。
• 生成データを用いてAU発生をバランスし、アイデンティティ/デモグラフィックを多様化する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの潜在空間で controllable な顔の編集は、より少ないアーティファクトで強力なAU操作を達成できるか。
• RQ2 Dependency-aware conditioningと直交射影はAUの絡みつきと非ターゲット属性の漏洩を減らせるか。
• RQ3 提案編集によるAUトレーニングの拡張は、データ効率の高い従来法と比べて検出精度と絡みつきの解消を改善するか。
• RQ4 編集はアイデンティティをどの程度保持しつつ多様なデモグラフィックおよびアイデンティティの合成を実現するか。

主な発見

• 意味的潜在空間での編集は、従来法より強力なAU操作とより少ないアーティファクトを実現する。
• 依存性対応の条件付けと直交射影はAUの共発火による絡みつきとノイズ属性の漏洩を低減する。
• 表情中立化は絶対的なAU編集を可能にし、AUデータ拡張の均衡化を支援する。
• 生成データを用いたAU検出器訓練の拡張は精度を向上させ、より分離された予測を得る。
• 提案手法は、AU検出性能とデータ多様性の向上において、他のデータ効率的な訓練戦略を上回る。