[論文レビュー] ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation

Dongxu Yue, Qin Guo+4 more|arXiv (Cornell University)|May 24, 2023

Face recognition and analysis被引用数 4

ひとこと要約

ChatFace は、大規模言語モデル（LLM）と安定的変換戦略（SMS）によって制御される、拡散モデルの意味的潜在空間を活用することで、高品質でゼロショットのインタラクティブなリアル顔画像編集を実現する新規なシステムです。顔の属性を正確に保ちながら編集が可能であり、複数の顔の属性において、定量的指標および人間評価の両面で先行手法を上回ります。

ABSTRACT

Editing real facial images is a crucial task in computer vision with significant demand in various real-world applications. While GAN-based methods have showed potential in manipulating images especially when combined with CLIP, these methods are limited in their ability to reconstruct real images due to challenging GAN inversion capability. Despite the successful image reconstruction achieved by diffusion-based methods, there are still challenges in effectively manipulating fine-gained facial attributes with textual instructions.To address these issues and facilitate convenient manipulation of real facial images, we propose a novel approach that conduct text-driven image editing in the semantic latent space of diffusion model. By aligning the temporal feature of the diffusion model with the semantic condition at generative process, we introduce a stable manipulation strategy, which perform precise zero-shot manipulation effectively. Furthermore, we develop an interactive system named ChatFace, which combines the zero-shot reasoning ability of large language models to perform efficient manipulations in diffusion semantic latent space. This system enables users to perform complex multi-attribute manipulations through dialogue, opening up new possibilities for interactive image editing. Extensive experiments confirmed that our approach outperforms previous methods and enables precise editing of real facial images, making it a promising candidate for real-world applications. Project page: https://dongxuyue.github.io/chatface/

研究の動機と目的

• GANベースの手法が、不安定な GAN の逆方向推定に起因するリアル顔画像の再構築と編集の限界を解消すること。
• 拡散モデルベースの手法における事前定義された編集方向の制限を克服し、任意のテキスト駆動型顔の属性編集を可能にすること。
• 自然言語クエリを解釈し、リアルな顔画像に対して複雑なマルチ属性編集を実行できるインタラクティブで使いやすいシステムの開発。
• 生成プロセス中に拡散モデルの時系列特徴を意味的条件と一致させることで、安定的かつ意味的に整合性のある編集を実現すること。
• LLM と拡散モデルの意味的構造を統合することで、微細な調整と現実世界の顔画像編集の実現可能性と優位性を示すこと。

提案手法

• リアル顔画像を意味的潜在コードに逆方向変換するため、事前学習済みの拡散自己符号化器（DAE）を用い、高精度な再構築を実現。
• テキストプロンプトを拡散モデルの意味的潜在空間内でのターゲット潜在コードに変換するための学習済みマッピングネットワークを採用。
• 各ノイズ除去ステップにおいて、拡散モデルの時系列特徴と意味的条件を一致させる安定的変換戦略（SMS）を導入し、安定的かつ一貫性のある編集を保証。
• 大規模言語モデル（LLM）を活用して複雑な自然言語編集クエリを解析し、ユーザーの意図を抽出して編集方向を動的に活性化。
• 元のコードとターゲットコードの間で意味的潜在空間内で線形補間を実行し、顔の同一性のずれを最小限に抑えた編集画像を生成。
• CLIPに基づく指標（S_dir、SC、ID）と人間評価を用いて、編集の安定性と現実性を最適化および検証。

実験結果

リサーチクエスチョン

• RQ1 LLM による誘導付きテキストプロンプトは、GAN の逆方向推定に依存せずに、リアル顔画像の正確なゼロショット編集を可能にするか？
• RQ2 拡散モデルの意味的潜在空間を安定的に操作することで、特定の顔の属性を変更しながら顔の同一性を保持できるか？
• RQ3 LLM と拡散モデルを統合したマルチモーダルシステムは、従来の手法と比較して、複雑なマルチ属性顔編集において優れた性能を示せるか？
• RQ4 安定的変換戦略（SMS）は、低レベルの意味的詳細の保持や過剰編集・同一性の崩壊を防ぐ上で、どのような影響を及ぼすか？
• RQ5 多様なユーザークエリに対応する現実世界のインタラクティブ編集シナリオにおいて、本システムはどのように性能を発揮するか？

主な発見

• CelebA-HQ において、ChatFace は方向性 CLIP類似度（S_dir）が 0.21 を達成し、StyleCLIP（0.13）、Stylegan-NADA（0.16）、DiffusionCLIP（0.18）を含むすべてのベースラインを上回りました。
• 本手法は、セグメンテーションの一貫性（SC）が 89.7%、顔の同一性類似度（ID）が 0.84 を達成し、意味的構造と顔の同一性の両方を強く保持していることを示しています。
• 人間評価では、スマイリング（90.3%）、カールヘア（82.7%）、メイク（90.4%）、メガネ（94.2%）の各属性において、他の手法を顕著に上回りました。
• アブレーションスタディにより、SMS が不可欠であることが確認されました。SMS を使用しない場合、色の拡散（例：ピンクの口紅が口の外に広がる）や低レベルの画像詳細の劣化が顕著に観察されました。
• 本システムは継続的編集機能を備えており、自然言語対話により順次的かつ複雑な編集を実行可能です。
• LLM の統合により、ユーザーの意図の理解と編集方向の動的活性化が効果的に実現され、使いやすさと柔軟性が向上しました。