[論文レビュー] Facial Attribute Transformers for Precise and Robust Makeup Transfer

Zhaoyi Wan, Hao Chen+4 more|arXiv (Cornell University)|Apr 7, 2021

Face recognition and analysis被引用数 5

ひとこと要約

本稿では、自己注意メカニズムを活用してソース顔とリファレンス顔間の意味的対応関係をモデル化する新規フレームワークである顔貌変換器（FAT）および空間的FATを提案する。これにより、正確な色およびテクスチャ転送が可能になるとともに、微分可能な薄板スプライン（TPS）を用いた幾何的形状変換も実現する。本手法は、色再現性、空間的変形、ポーズおよび照明変動への耐性において、最先端の性能を達成する。

ABSTRACT

In this paper, we address the problem of makeup transfer, which aims at transplanting the makeup from the reference face to the source face while preserving the identity of the source. Existing makeup transfer methods have made notable progress in generating realistic makeup faces, but do not perform well in terms of color fidelity and spatial transformation. To tackle these issues, we propose a novel Facial Attribute Transformer (FAT) and its variant Spatial FAT for high-quality makeup transfer. Drawing inspirations from the Transformer in NLP, FAT is able to model the semantic correspondences and interactions between the source face and reference face, and then precisely estimate and transfer the facial attributes. To further facilitate shape deformation and transformation of facial parts, we also integrate thin plate splines (TPS) into FAT, thus creating Spatial FAT, which is the first method that can transfer geometric attributes in addition to color and texture. Extensive qualitative and quantitative experiments demonstrate the effectiveness and superiority of our proposed FATs in the following aspects: (1) ensuring high-fidelity color transfer; (2) allowing for geometric transformation of facial parts; (3) handling facial variations (such as poses and shadows) and (4) supporting high-resolution face generation.

研究の動機と目的

• 従来のメイク転送手法における色再現性および空間的変形精度の限界を解決すること。
• リファレンス顔からソース顔へ、色/テクスチャ属性に加えて幾何的属性（例：眉毛の形状）を正確に転送できること。
• 顔のポーズや影などの顔の変動に耐えうる汎用性の高いフレームワークを構築すること。
• 訓練および推論品質の向上を図るための柔軟な教師強化生成戦略と後処理パイプラインを設計すること。
• 本手法の応用範囲を、顔の年齢や表情の転送といった他の顔貌属性転送タスクへ拡張できること。

提案手法

• 自然言語処理のTransformerにインspiredされた自己注意メカニズムを用いて、ソース顔とリファレンス顔間の意味的対応関係をモデル化する顔貌変換器（FAT）を提案する。
• 薄板スプライン（TPS）をFATに統合し、微分可能な顔面部品の幾何的変換を可能にする空間的FATを構築する。
• 敵対的損失、サイクル損失、知覚的損失、およびメイク固有の損失を組み合わせたサイクル整合性GANフレームワークを採用して訓練する。
• 顔のアイデンティティおよび顔の細部を保持するため、VGG-16特徴抽出器を知覚的損失に用いる。
• 疑似転送画像とブレンド技術を用いた柔軟な教師強化生成戦略を設計し、訓練を支援する。
• 詳細な高精細顔画像の生成を実現するため、専用の高解像度後処理処理を適用する。

Figure 1: (Best viewed in color) Our Facial Attribute Transformer (FAT) can faithfully transfer detailed attributes (such as color and texture) from the reference to the source. Spatial FAT, an extension of FAT, further enables spatial transformation. The proposed facial attribute transformers exhib

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくアーキテクチャは、メイク転送におけるソース顔とリファレンス顔間の意味的対応関係のモデリングを改善できるか？
• RQ2 眉の形状といった幾何的属性も、色とテクスチャと併せて効果的に転送できるか？
• RQ3 自己注意メカニズムとTPSを統合することで、ポーズや照明の変動下でもより耐障害的かつ正確な空間的変形が達成できるか？
• RQ4 本手法はアーキテクチャの変更なしに他の顔貌属性転送タスクへ一般化できるか？
• RQ5 本手法は、色再現性および空間的正確性において、最先端手法と定量的・定性的に比較して優れているか？

主な発見

• 空間的FATは優れた色再現性を達成し、生成画像における唇や目の色合い、彩度、テクスチャがリファレンスと密接に一致している。
• 本手法は幾何的属性の転送に成功しており、従来の手法（例：BeautyGAN や PSGAN）とは異なり、眉毛の形状が変化しない。
• 定量的評価ではFIDおよびLPIPS指標において顕著な改善が見られ、より高い知覚的品質と低い分布的乖離を示している。
• 顔の変動、特に大きなポーズや影の影響に対しても耐障害性を示し、困難な状況下でも既存手法を上回る性能を発揮している。
• 専用の後処理ステップにより、高解像度顔画像の生成に成功し、微細なディテールを保持している。
• アブレーションスタディの結果、顔の年齢転送などの他の属性転送タスクに対しても、本フレームワークは良好な一般化性能を示している。

Figure 2: The GAN training of makeup transfer. $G$ is short for the generator, and $D_{x}$ is the discriminator for reference. $L_{1}$ is the Manhattan distance that performs as a criterion. The generator output is marked with dash borders. Note the reference and source are symmetrically exchanged i