[論文レビュー] FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces

Ricard Durall, Jireh Jam+3 more|arXiv (Cornell University)|Oct 18, 2021

Face recognition and analysis被引用数 8

ひとこと要約

FacialGANは、合成顔に対して一括してスタイル変換とインタラクティブな顔貌属性操作を実現する統合フレームワークを提案する。セグメンテーションマスクを用いて細分化された制御を可能とし、高精細な結果を得るためのマルチオブジェクティブ最適化を採用している。顔認識の正確性（89.8%）と属性転送性能において、従来手法を上回る最先端の性能を達成しており、スタイル変換と幾何学的注意を意識した編集の両面で優れている。

ABSTRACT

Facial image manipulation is a generation task where the output face is shifted towards an intended target direction in terms of facial attribute and styles. Recent works have achieved great success in various editing techniques such as style transfer and attribute translation. However, current approaches are either focusing on pure style transfer, or on the translation of predefined sets of attributes with restricted interactivity. To address this issue, we propose FacialGAN, a novel framework enabling simultaneous rich style transfers and interactive facial attributes manipulation. While preserving the identity of a source image, we transfer the diverse styles of a target image to the source image. We then incorporate the geometry information of a segmentation mask to provide a fine-grained manipulation of facial attributes. Finally, a multi-objective learning strategy is introduced to optimize the loss of each specific tasks. Experiments on the CelebA-HQ dataset, with CelebAMask-HQ as semantic mask labels, show our model's capacity in producing visually compelling results in style transfer, attribute manipulation, diversity and face verification. For reproducibility, we provide an interactive open-source tool to perform facial manipulations, and the Pytorch implementation of the model.

研究の動機と目的

• 既存手法がスタイル変換または属性翻訳に限定的であるという限界に対処し、相互作用性と細分化された制御を欠いていること。
• 顔のアイデンティティを保持しつつ、同時に高品質なスタイル変換とピクセル単位の属性操作を実現すること。
• セグメンテーションマスクを幾何的ガイドとして統合することで、従来のモデルのスケーラビリティと現実性の問題を克服すること。
• 研究および産業分野における再現性と実用性を高めるために、ユーザーフレンドリーでインタラクティブなリアルタイム顔面操作ツールを提供すること。

提案手法

• 参照画像から多様なスタイルをソース画像に転送しつつアイデンティティを保持するため、スタイルエンコーダとコンテンツに適応したジェネレータを統合する。
• 顔貌属性（例：目、鼻、口）の細分化された局所的編集を可能とするために、セグメンテーションマスクを幾何的ガイド信号として使用する。
• 敵対的損失、アイデンティティ保持損失、属性一貫性損失、セグメンテーションマスク一貫性損失を組み合わせたマルチオブジェクティブ損失関数を適用する。
• 生成された顔が極端なマスク変更に対しても写真的にリアルであることを保証するため、リアルさを強制する判別器をジェネレータと併せて訓練する。
• トレーニング中の監視を補助するために、事前学習済みのセグメンテーションモデル（CelebAMask-HQ）を用い、正確なパースングマップを生成する。
• ユーザーがリアルタイムでセグメンテーションマスクを変更できるようにし、それに応じた現実的な顔画像をモデルが生成するインタラクティブ編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合型の生成フレームワークは、合成顔に対して高精細なスタイル変換と細分化されたインタラクティブな属性操作を同時に達成できるか？
• RQ2 セグメンテーションマスクのガイドを統合することで、グローバルな属性翻訳と比較して、顔貌属性編集の精度と多様性がどのように向上するか？
• RQ3 特に大きな幾何的変更を伴うターゲット属性に対して、スタイル変換と属性操作を併用した場合でも、アイデンティティ保持がどの程度維持されるか？
• RQ4 スタイル変換、アイデンティティ保持、マスク一貫性といった競合する目的をバランスさせるために、マルチオブジェクティブトレーニング戦略はどのように高品質な出力を生み出すか？
• RQ5 セグメンテーションマスク内に現実的でない構造（例：目が欠落している）が含まれる場合、モデルの失敗モードはどのようなものか？

主な発見

• スタイル変換と属性操作を併用した際、顔認識の正確性が89.8%に達し、類似条件下で低い正確性を示すベースラインを上回っている。
• 男性属性転送の正確性は100%に達し、マスクGAN（77.3%）やSPADE（73.8%）といった従来手法を大きく上回っている。
• 入力マスクと予測されたパースティング結果のピクセル単位のセグメンテーション一貫性は全属性で96.40%に達し、個別属性の正確性は目（98.39%）、鼻（99.30%）、口（98.78%）であった。
• 極端なマスク変更（例：拡大された目やまつげ）に対しても、モデルは現実的な顔を生成でき、大規模な幾何的変化に対しても頑健であることを示している。
• 定性的な結果から、顔の構造が一貫しており、属性の遷移が現実的であることが確認され、高い視覚的品質とリアルさを維持している。
• マスク内に現実的でない構成（例：目がない）が含まれる場合、ディスクラミネータの制約によりマスク入力を無視し始めるなど、リアルさと編集自由度のトレードオフが顕在化する。