[論文レビュー] Texture Deformation Based Generative Adversarial Networks for Face Editing

Wenting Chen, Xinpeng Xie+2 more|arXiv (Cornell University)|Dec 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 4

ひとこと要約

本稿では、DAEベースのエンコーダを用いて顔のテクスチャと変形を分離し、その後、テクスチャから画像への翻訳によりターゲット属性（例：表情、性別、年齢）を転送した後、空間的変形を用いてテクスチャを元に戻すことで、顔編集を実現する新しいフレームワークTDB-GANを提案する。本手法は、CelebAおよびRaFDデータセットにおいて、既存のGANベースの顔編集モデルと比較して、優れた視覚的品質、より鋭いディテール、およびより良いアイデンティティ保持性を達成した。

ABSTRACT

Despite the significant success in image-to-image translation and latent representation based facial attribute editing and expression synthesis, the existing approaches still have limitations in the sharpness of details, distinct image translation and identity preservation. To address these issues, we propose a Texture Deformation Based GAN, namely TDB-GAN, to disentangle texture from original image and transfers domains based on the extracted texture. The approach utilizes the texture to transfer facial attributes and expressions without the consideration of the object pose. This leads to shaper details and more distinct visual effect of the synthesized faces. In addition, it brings the faster convergence during training. The effectiveness of the proposed method is validated through extensive ablation studies. We also evaluate our approach qualitatively and quantitatively on facial attribute and facial expression synthesis. The results on both the CelebA and RaFD datasets suggest that Texture Deformation Based GAN achieves better performance.

研究の動機と目的

• 既存のGANベースの顔編集手法における限界、例えばディテールのぼやけ、弱い属性転送、アイデンティティの不一致を解消すること。
• 顔のテクスチャと変形を分離し、属性転送の主な媒体としてテクスチャを用いることで、ポーズや形状への依存を低減すること。
• 直接的な画像から画像への翻訳ではなく、テクスチャベースの画像生成を活用することで、訓練収束性と視覚的品質を向上させること。
• 入力画像と生成画像の間に特化したアイデンティティ損失を適用することで、編集中のアイデンティティ保持を強化すること。
• 顔の属性および表情編集において、画像から画像への翻訳と比較して、テクスチャから画像への翻訳が優れていることを検証すること。

提案手法

• 本手法は、可変性オートエンコーダ（DAE）を用いて入力画像を照度、アルベド、変形成分に分解し、照度とアルベドを組み合わせてクリアでアライメントされたテクスチャ画像を生成する。
• GANジェネレータは、抽出されたテクスチャとターゲットドメインラベル（例：性別、表情）の両方を条件として用い、ターゲット属性を有する新しいテクスチャを合成する。
• 合成されたテクスチャは、元の空間的変形に従ってワープされ直され、最終的な顔画像が再構築され、幾何的構造が保持される。
• 入力画像と生成画像の間にアイデンティティ損失が適用され、編集中のアイデンティティ保持が強制される。
• 本フレームワークは、敵対的損失、L1再構成損失、およびアイデンティティ損失を用いて訓練され、リアルさと一貫性を保証する。
• 本アプローチにより、テクスチャ空間における分離表現を学習することで、複数ドメインの顔編集（例：表情、性別、年齢）が可能になる。

実験結果

リサーチクエスチョン

• RQ1 テクスチャと変形を分離することで、顔編集タスクにおける生成顔の品質とリアリズムが向上するか？
• RQ2 直接的な画像から画像への翻訳と比較して、テクスチャベースの画像翻訳は、より良い属性転送と鋭い顔のディテールをもたらすか？
• RQ3 テクスチャベースのGANフレームワークにアイデンティティ損失を導入することで、アイデンティティ保持が著しく向上するか？
• RQ4 TDB-GANは、StarGAN、CycleGAN、IcGANといった最先端モデルと比較して、定性的および定量的評価においてどのように性能を発揮するか？
• RQ5 分離されたテクスチャ表現は、明確な顔の表情（例：怒り、恐れ）を合成する能力を向上させるか？

主な発見

• ユーザースタディーにおいて、TDB-GANはスマイリング転送で57.33%の知覚的投票率、年齢転送で62.00%を記録し、IcGAN、CycleGAN、StarGANを上回った。
• RaFDデータセットでは、TDB-GANが生成した画像は顔の表情分類精度が97.28%に達し、IcGAN（91.61%）、CycleGAN（88.44%）、StarGAN（92.06%）を大きく上回った。
• 本手法は、特に目領域においてより鋭い顔のディテールと、より明確に区別できる表情（例：怒り、恐れ）を生成したが、StarGANや他のベースラインと比較して顕著に優れていた。
• ユーザースタディーの結果、TDB-GANは競合モデルと比較して、よりリアルで、属性品質が高く、アイデンティティ保持性に優れた画像を生成した。
• アブレーションスタディーでは、テクスチャベースの翻訳とアイデンティティ損失の両方が性能に不可欠であることが示され、特にアイデンティティ損失がアイデンティティの一貫性を顕著に向上させた。
• TDB-GANは、テクスチャ空間における分離表現のおかげで、より速い訓練収束性と複数ドメインにわたる良好な一般化性能を示した。