[論文レビュー] FaceController: Controllable Attribute Editing for Face in the Wild

Zhiliang Xu, Xiyu Yu+6 more|arXiv (Cornell University)|Feb 23, 2021

Face recognition and analysis参考文献 50被引用数 5

ひとこと要約

FaceControllerは、3DMM事前知識、アイデンティティ埋め込み、領域別スタイルコードを活用することで、野生の画像における高精細で制御可能な顔属性編集を実現する前向き型生成ネットワークを提案する。GANの逆問題化を必要とせず、顔交換、照明再設定、メイク移行において、アイデンティティ保持、忠実度、分離編集の面で最先端の性能を達成した。

ABSTRACT

Face attribute editing aims to generate faces with one or multiple desired face attributes manipulated while other details are preserved. Unlike prior works such as GAN inversion, which has an expensive reverse mapping process, we propose a simple feed-forward network to generate high-fidelity manipulated faces. By simply employing some existing and easy-obtainable prior information, our method can control, transfer, and edit diverse attributes of faces in the wild. The proposed method can consequently be applied to various applications such as face swapping, face relighting, and makeup transfer. In our method, we decouple identity, expression, pose, and illumination using 3D priors; separate texture and colors by using region-wise style codes. All the information is embedded into adversarial learning by our identity-style normalization module. Disentanglement losses are proposed to enhance the generator to extract information independently from each attribute. Comprehensive quantitative and qualitative evaluations have been conducted. In a single framework, our method achieves the best or competitive scores on a variety of face applications.

研究の動機と目的

• GANの逆問題化の非効率性を解消するため、属性編集に向けた高速な前向き型ネットワークに置き換える。
• アイデンティティ、ポーズ、表情、照明、局所的領域スタイルの5つの主要な顔属性を分離して、正確な制御を可能にする。
• 3DMMでレンダリングされた顔と実際の野生の顔とのドメインギャップを、アイデンティティおよび領域別スタイル埋め込みを統合することで埋める。
• 統一されたフレームワークにより、顔交換、照明再設定、メイク移行といった多様な応用を可能にする。
• 教師なし損失と新規のアイデンティティ・スタイル正規化モジュールを用いて、分離性と制御性を向上させる。

提案手法

• アイデンティティ、ポーズ、表情の分離に、3DMM係数を強力な事前知識として用いる。
• アイデンティティ埋め込みと領域別スタイルコードを統合するアイデンティティ・スタイル正規化モジュールを導入し、3DMMからの特徴マップを調整する。
• アイデンティティ、ランドマークの一貫性、ヒストограмマッチングのための教師なし損失を用いて、分離された制御を強制する。
• 各属性の独立的抽出を促進するため、分離損失を生成器に適用する。
• 時間のかかるGANの逆問題化を避けるために、既存で容易に入手可能な事前知識（3DMM、アイデンティティ、スタイルコード）を活用する。
• アイデンティティ・スタイル正規化モジュールを用いた adversarial training を実施し、写真のような顔を生成する。

実験結果

リサーチクエスチョン

• RQ1 高価なGANの逆問題化に依存せずに、前向き型ネットワークが高精細な顔編集を達成できるか？
• RQ2 3DMM事前知識に加え、アイデンティティおよび領域別スタイルコードを組み合わせることで、合成顔と実際の顔の間のドメインギャップを効果的に埋められるか？
• RQ3 提案手法が、アイデンティティ、ポーズ、表情、照明、局所的スタイルの5つの明確な顔属性を分離し、正確な編集を可能にするか？
• RQ4 アイデンティティ・スタイル正規化モジュールは、先行手法と比較して分離性と生成品質をどのように向上させるか？
• RQ5 顔交換、メイク移行、照明再設定の各タスクにおいて、既存の手法と比較してどの程度優れているか？

主な発見

• FaceForensics++において、FaceControllerは比較手法の中でも最高のアイデンティティリtrieval精度（98.27）と最低のFID（3.51）を達成し、DeepFake、FaceSwap、FSGAN、FaceShifterを上回った。
• ユーザースタディーでは、FaceControllerは忠実度55.4、アイデンティティ保持44.7、メイク移行性45.4のスコアを記録し、全体の品質においてSEANおよびLADNを上回った。
• アブレーションスタディーでは、アイデンティティエンコーダーを削除するとアイデンティティリtrieval精度が25.97に低下し、元のソースアイデンティティの保持に不可欠であることが確認された。
• スタイルエンコーダーを削除すると、唇などの領域で一貫性のないテクスチャが生じ、FIDが4.84に上昇した。これは、微細な編集において重要な役割を果たしていることを示している。
• ランドマークおよびヒストограмマッチング損失は不可欠である。それらを省略すると、目付近にアーチファクトが発生し、色分布が一貫性を失う。
• 単一の統一フレームワークで顔交換、照明再設定、メイク移行といった多様な編集タスクにおいても、強力な性能を維持した。