[論文レビュー] PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer

Wentao Jiang, Si Liu+5 more|arXiv (Cornell University)|Sep 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 14

ひとこと要約

PSGANは、参照画像のメイクを空間に配慮した係数行列（γ）とバイアス行列（β）に分離することで、ポーズや表情の変化に強く、カスタマイズ可能なメイク転送を実現する新しい空間的配慮型GANフレームワークを提案する。ピクセル単位の適応を実現するアテンションメイクモーフィングモジュールと、スタイル注入を担うメイク適用ネットワークを用いることで、前面および非制約的な顔画像において最先端の性能を達成し、部分的かつ色味制御可能な転送を高精細かつ一貫性を持って実現する。

ABSTRACT

In this paper, we address the makeup transfer task, which aims to transfer the makeup from a reference image to a source image. Existing methods have achieved promising progress in constrained scenarios, but transferring between images with large pose and expression differences is still challenging. Besides, they cannot realize customizable transfer that allows a controllable shade of makeup or specifies the part to transfer, which limits their applications. To address these issues, we propose Pose and expression robust Spatial-aware GAN (PSGAN). It first utilizes Makeup Distill Network to disentangle the makeup of the reference image as two spatial-aware makeup matrices. Then, Attentive Makeup Morphing module is introduced to specify how the makeup of a pixel in the source image is morphed from the reference image. With the makeup matrices and the source image, Makeup Apply Network is used to perform makeup transfer. Our PSGAN not only achieves state-of-the-art results even when large pose and expression differences exist but also is able to perform partial and shade-controllable makeup transfer. We also collected a dataset containing facial images with various poses and expressions for evaluations.

研究の動機と目的

• 既存のメイク転送手法が顕著なポーズや表情の変化に対処する際の限界を解消すること。
• 特定の顔部（部分的転送）やメイクの強さ（色味制御）を制御可能なカスタマイズ可能なメイク転送を可能にすること。
• 多様で非制約的な顔画像においても高品質な結果を維持できる堅牢なフレームワークの開発。
• リアルな状況下でのメイク転送評価を可能にするため、新しいデータセット「Makeup-Wild」を収集・公開すること。

提案手法

• メイクドレッシングネットワーク（MDNet）は、参照画像のメイクを局所的な顔のディテールを保持する空間的配慮型係数（γ）とバイアス（β）行列に分離する。
• アテンションメイクモーフィング（AMM）モジュールは、顔パーサリングマップと顔のランドマークを用いてピクセル単位の対応関係を計算し、γとβをソース画像のポーズや表情に適応させる。
• AMMモジュールはアテンション行列Aを用い、不一致に対しても正確な空間的整合性を保つためにメイク行列を動的に調整する。
• メイク適用ネットワーク（MANet）は、特徴マップに対して要素ごとの乗算と加算によりγ′とβ′を適用することで、メイク転送を実行する。
• 部分的転送は、顔パーサリングの結果に基づきγ′とβ′にマスクを適用することで実現され、領域別に転送が可能になる。
• 色味制御可能な転送は、[0,1]の係数でγ′とβ′をスケーリングすることで実装され、軽めから濃いメイクへの強さ調整が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ソース画像と参照画像の間で顕著なポーズや表情の差がある状況でも、高品質なメイク転送が達成可能か？
• RQ2 メイク転送を部分的に制御可能にでき、例えば口元や目元といった特定の顔部を独立してターゲットにできるか？
• RQ3 転送されたメイクの強さ（色味）を、軽めから濃いめにまで制御的に調整できるか？
• RQ4 提案された空間的配慮型行列表現は、潜在ベクトルベースの手法と比較して、転送の正確性とリアリズムをどのように向上させるか？
• RQ5 動的なポーズや表情を伴う動画シーケンスに適用した場合でも、フレームワークが一貫性と品質を維持できるか？

主な発見

• M-WildテストセットにおいてPSGANはすべてのベースラインを上回り、ユーザー研究で最良とされた割合が83.5%に達し、BGAN（13.5%）や他の手法と顕著に優れている。
• MTテストセットでは61.5%の選択率を達成し、前面で表情が中立な画像に対しても強力な性能を示している。
• 定性的な結果から、PSGANは最先端の手法と比較して、非前面の顔や複雑な表情に対してもよりリアリスティックで参照画像に忠実なメイク転送を実現している。
• AMMモジュールは不一致の問題を効果的に緩和し、困難なポーズにおいても誤ったメイクの適用（例：肌に口紅を塗布）を防いでいる。
• 動画転送の結果から、時間的整合性と視覚的品質が確認され、動的なシナリオにおける手法の堅牢性が裏付けられている。
• 提案されたMakeup-Wildデータセットは多様なポーズや表情を的確に捉えており、メイク転送モデルのよりリアルな評価を可能にしている。