[論文レビュー] DeepFaceEditing: Deep Face Generation and Editing with Disentangled Geometry and Appearance Control

Shuyu Chen, Fenglin Liu+5 more|arXiv (Cornell University)|May 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 12

ひとこと要約

DeepFaceEditingは、局所的から包括的なアプローチを用いて、顔の幾何学的構造と外見を分離する構造的分離フレームワークを提案する。スケッチを共有される幾何表現として用い、局所的分離をスワッピング戦略で訓練することで、顔の形状と外見に対する細分化された直感的な制御を可能にし、最先端の手法と比較して編集および合成タスクにおける詳細さと忠実度が優れている。

ABSTRACT

Recent facial image synthesis methods have been mainly based on conditional generative models. Sketch-based conditions can effectively describe the geometry of faces, including the contours of facial components, hair structures, as well as salient edges (e.g., wrinkles) on face surfaces but lack effective control of appearance, which is influenced by color, material, lighting condition, etc. To have more control of generated results, one possible approach is to apply existing disentangling works to disentangle face images into geometry and appearance representations. However, existing disentangling methods are not optimized for human face editing, and cannot achieve fine control of facial details such as wrinkles. To address this issue, we propose DeepFaceEditing, a structured disentanglement framework specifically designed for face images to support face generation and editing with disentangled control of geometry and appearance. We adopt a local-to-global approach to incorporate the face domain knowledge: local component images are decomposed into geometry and appearance representations, which are fused consistently using a global fusion module to improve generation quality. We exploit sketches to assist in extracting a better geometry representation, which also supports intuitive geometry editing via sketching. The resulting method can either extract the geometry and appearance representations from face images, or directly extract the geometry representation from face sketches. Such representations allow users to easily edit and synthesize face images, with decoupled control of their geometry and appearance. Both qualitative and quantitative evaluations show the superior detail and appearance control abilities of our method compared to state-of-the-art methods.

研究の動機と目的

• 既存の顔合成手法における顔の幾何学的構造と外見に対する細分化された制御の欠如に対処すること。
• 顔の構造に関するドメイン固有の知識を組み込むことで、顔画像における幾何学的構造と外見の分離を改善すること。
• 外見と幾何学的構造の両方を高精度で保持しながら、スケッチを用いた直感的な編集を可能にすること。
• 外見転送、幾何的構造の置き換え、分離制御を併用した柔軟な編集タスクをサポートすること。
• 幾何学的構造と外見の両空間における制御可能な補間を可能にする信頼性のある、分離可能な分離を達成すること。

提案手法

• 局所的から包括的なフレームワークで、2つのコアモジュールを備える：局所的分離（LD）は成分レベルでの幾何学的構造と外見の分離を、グローバル統合（GF）は一貫性のある画像再構成を担当する。
• LDモジュールはペアド画像とスケッチを用いて分離表現を抽出し、幾何学的構造はスケッチと画像の間で共有空間としてエンコードされる。
• LDモジュールはトレーニング中にスワッピング戦略を適用することで、幾何学的構造と外見表現の間の分離を保証する。
• GFモジュールは、注視メカニズムを用いて顔の成分（例：目、鼻、口）からの局所的表現を統合し、グローバルに一貫性のある顔画像を再構成する。
• スケッチを入力として幾何学的構造抽出をガイドすることで、顔の構造やしわのような詳細な部分の直感的な編集が可能になる。
• 外見は参照画像を用いて制御され、色、照明、素材の属性を保持しながら転送される。

実験結果

リサーチクエスチョン

• RQ1 スケッチを中間的な幾何表現として用いることで、顔の幾何学的構造と外見の分離表現を効果的に学習できるか？
• RQ2 顔の成分ごとの局所的分離が、顔生成および編集の忠実度と制御可能性を向上させられるか？
• RQ3 グローバル統合モジュールは、分離された局所的特徴から高品質で一貫性のある顔画像を効果的に再構成できるか？
• RQ4 本フレームワークは、外見転送、幾何的構造の置き換え、直感的制御を併用した柔軟な編集タスクをサポートできるか？
• RQ5 SOTAと比較して、幾何学的構造と外見の次元に沿った分離可能な補間において、本手法はどのように性能を発揮するか？

主な発見

• 本手法は、顔の編集において優れた詳細さと外見制御を達成しており、定性的な結果では多様な編集タスクにおいて高い現実性と一貫性が確認された。
• 幾何学的構造と外見の潜在空間における制御可能な線形補間により、高忠実度の中間顔が生成され、明確な分離が示された。
• 本フレームワークは、しわなどの細部を含む顔の幾何的構造について、スケッチベースの直感的編集を可能にし、最小限のアーティファクトを生じた。
• 参照画像からの外見転送により、元の幾何的構造が保持されたまま、色や素材の属性が忠実に再構成された。
• 定性的および定量的評価の両方において、本手法は最先端の手法を上回り、特に幾何的構造の詳細と外見の忠実度の保持において優れた性能を示した。
• 制限事項として、非正面の顔では性能が低下し、遮蔽や複雑な照明条件下では色のバイアスが生じる可能性がある。