[論文レビュー] PSGAN: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer.

Wentao Jiang, Si Liu+5 more|arXiv (Cornell University)|Sep 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 4

ひとこと要約

PSGANは、ポーズおよび表情に強く、空間的に注意を払うGANを提案し、カスタマイズ可能なメイク転送を実現する。参照画像のメイクを空間的に注意を払う行列に分離し、注意を向けたモーフィングモジュールを用いて、顔のポーズや表情の大きな変化があっても制御可能で高精細な転送を可能にする。部分的およびシェード制御可能な編集機能を備え、最先端の性能を達成する。

ABSTRACT

In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.

研究の動機と目的

• 現在の手法が困難としている、顔のポーズや表情の大きな変化がある画像間でのメイク転送の課題に対処すること。
• 適用する顔の領域やシェードの制御を可能にすることで、カスタマイズ可能なメイク転送を実現すること。
• 複雑な顔の構成において、分離性と制御性に欠ける既存手法の限界を克服すること。
• 実世界のシナリオで堅牢性をよりよく評価できるように、多様なポーズと表情を含む新しいデータセットを構築すること。

提案手法

• 参照画像のメイクを、色と構造の両方の情報を捉える2つの空間的に注意を払うメイク行列に分離するためのメイクドレインネットワークを導入する。
• ピクセル単位のモーフィング重みを計算するための注意を向けたメイクモーフィングモジュールを提案する。
• ソース画像と空間的に注意を払うメイク行列およびモーフィング重みを統合するメイクアプリケーションネットワークを設計し、エンド・ツー・エンドのメイク転送を実現する。
• 空間的に注意を払う表現を活用して、顔のポーズや表情の大きな違いがあっても、構造的一致性と色の正確性を維持する。
• 生成的敵対的損失、知覚的損失、再構成損失を用いて、エンド・ツー・エンドでモデルを訓練し、リアルさと詳細の保持を確保する。
• 現実的で挑戦的な状況下でモデルを訓練および評価できるように、多様なポーズと表情を含む新たに収集したデータセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、顔のポーズや表情の大きな変化がある状況でも、堅牢なメイク転送を達成できるか？
• RQ2 モデルは、メイク転送におけるシェードおよびターゲットとなる顔の領域に対する細かく制御可能な操作をどの程度可能にするか？
• RQ3 空間的に注意を払うメイク成分の分離は、顔の構造と色の正確性をどの程度効果的に保持できるか？
• RQ4 提案手法は、挑戦的な条件下で、定量的指標および視覚的品質の両面で、既存の最先端手法を上回るか？
• RQ5 多様なポーズと表情を含む専用データセットは、メイク転送モデルの一般化性と堅牢性を向上させることができるか？

主な発見

• PSGANは、顔のポーズや表情の極端な変化があっても、定量的指標および視覚的比較によって検証された結果、メイク転送において最先端の性能を達成する。
• モデルは部分的およびシェード制御可能なメイク転送を可能にし、ユーザーが適用する顔の領域やメイクの強度レベルを指定できる。
• 空間的に注意を払うメイク行列は、顔の構造と色の整合性を効果的に保持し、困難な状況でのアーティファクトを低減する。
• 注意を向けたメイクモーフィングモジュールは、ピクセル単位の転送重みを学習することで、局所的精度と視覚的リアリズムを著しく向上させる。
• 多様なポーズと表情を含む新たに収集したデータセットは、より現実的なベンチマークを提供し、モデルの実世界での堅牢性を示している。
• アブレーションスタディにより、特に空間的に注意を払う分離とモーフィングモジュールの有効性が確認され、転送品質の向上に寄与している。