[論文レビュー] Mask-Guided Portrait Editing with Conditional GANs

Shuyang Gu, Jianmin Bao+4 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 9

ひとこと要約

本稿では、顔のマスクから分離された顔部品埋め込み（目、口、髪、皮膚／鼻）を学習することで、高品質で多様性に富み、制御可能なポートレート編集を実現するマスクガイドド条件付き GAN フレームワークを提案する。この手法により、エンドツーエンドでリアルな顔の生成、局所的編集（例：髪の色や形状の変更）、髪の付帯を伴う顔の入れ替え、顔分割のためのデータ増強が可能となり、多様性とリアリズムにおいて従来手法を上回るとともに、顔分割の精度を 0.8% 向上させる。

ABSTRACT

Portrait editing is a popular subject in photo manipulation. The Generative Adversarial Network (GAN) advances the generating of realistic faces and allows more face editing. In this paper, we argue about three issues in existing techniques: diversity, quality, and controllability for portrait synthesis and editing. To address these issues, we propose a novel end-to-end learning framework that leverages conditional GANs guided by provided face masks for generating faces. The framework learns feature embeddings for every face component (e.g., mouth, hair, eye), separately, contributing to better correspondences for image translation, and local face editing. With the mask, our network is available to many applications, like face synthesis driven by mask, face Swap+ (including hair in swapping), and local manipulation. It can also boost the performance of face parsing a bit as an option of data augmentation.

研究の動機と目的

• 既存のポートレート編集手法における多様性、画像品質（特に皮膚や髪のディテール）、制御性に関する制限を解消すること。
• 提供された顔マスクを用いて、形状、色、テクスチャなどの顔部品属性を、部品レベルで正確に編集できること。
• マスクから顔への変換、髪の付帯を伴う顔の入れ替え、顔分割のためのデータ増強を含む、複数の応用をサポートする汎用的フレームワークの開発。
• マスクガイドド生成により、極端な状況（例：大きなポーズ、悪く光った照明、眼鏡）下でも、リアリズムと忠実度の高い顔の生成を実現すること。

提案手法

• 3段階のエンドツーエンドアーキテクチャを採用：左目、右目、口、皮膚／鼻、髪の各顔部品を別々に処理する5つのオートエンコーダーを備えたローカル埋め込みサブネットワーク。
• マスクガイドド生成サブネットワークは、学習済みの部品埋め込みとターゲット顔マスクを再結合して、前景顔画像を生成し、部品レベルの対応（例：口対口）を保証する。
• バックグラウンド融合サブネットワークは、生成された前景とバックグラウンド画像をターゲットマスクを用いて統合し、自然で完成度の高いポートレートを生成する。
• すべてのサブネットワークで顔マスクを条件入力として用いることで、生成過程における幾何的・意味的整合性を強制する。
• ターゲットマスクの変更またはソース画像からの埋め込みの置き換えにより、部品レベルの編集を実現し、局所的外観転送（例：髪の色の変更、ヒゲの追加）を可能にする。
• Helen データセットのマスクと CelebA からのソース画像を用いて、顔分割のためのデータ増強を実現する。

実験結果

リサーチクエスチョン

• RQ1 顔マスクによってガイドされる条件付き GAN フレームワークは、従来の GAN ベース手法と比較して、ポートレート合成における多様性とリアリズムをより高められるか？
• RQ2 マスクガイドド学習は、局所的顔部品編集（例：形状、色、テクスチャ）における制御性をどの程度向上させるか？
• RQ3 提案フレームワークは、大きなポーズ、悪く光った照明、または遮蔽（例：眼鏡）といった極端な条件下でも高精細な顔を生成できるか？
• RQ4 本フレームワークで生成された合成データは、下流の顔分割モデルの性能を向上させるか？

主な発見

• 提案フレームワークは、マスクから顔への変換において最先端の性能を達成し、多様性と画像品質の両面で従来手法を上回っている。特に皮膚のテクスチャーや髪のディテールといった微細なディテールにおいて顕著な向上を示している。
• モデルは効果的な局所的編集を可能にし、ユーザーは部品の形状（例：目を大きくする、口を広げる）の変更や、マスクまたは埋め込みの操作による外観転送（例：髪の色の変更、ヒゲの追加）を実現できる。
• 髪部品の明示的転送を可能にするため、従来の顔の入れ替え手法に欠けていた「顔の入れ替え＋」を実現している。
• マスクが部品を正しくセグメンテーションしている限り、大きなポーズ、極端な照明、遮蔽（例：眼鏡）の状況下でも、リアルな結果を生成できる。
• 本フレームワークで生成された合成画像をHelenデータセットの学習セットに追加したところ、顔分割精度が0.8%向上し、データ増強ツールとしての有効性が示された。