[論文レビュー] BlendGAN: Implicitly GAN Blending for Arbitrary Stylized Face Generation

Mingcong Liu, Qiang Li+4 more|arXiv (Cornell University)|Oct 22, 2021

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

BlendGANは、自己教師付きスタイルエンコーダーと重み付きブレンドモジュール（WBM）を用いて、顔とスタイルの潜在コードを暗黙的に統合することで、スタイル固有の微調整を必要とせず、高精細で多様なスタイル化を実現する統合型GANフレームワークを提案する。本手法は、新規に構築された大規模アート顔データセット（AAHQ）を用い、リファレンスガイドドおよびラティスガイドド合成において、それぞれFIDスコア3.79および15.08の最先端性能を達成した。

ABSTRACT

Generative Adversarial Networks (GANs) have made a dramatic leap in high-fidelity image synthesis and stylized face generation. Recently, a layer-swapping mechanism has been developed to improve the stylization performance. However, this method is incapable of fitting arbitrary styles in a single model and requires hundreds of style-consistent training images for each style. To address the above issues, we propose BlendGAN for arbitrary stylized face generation by leveraging a flexible blending strategy and a generic artistic dataset. Specifically, we first train a self-supervised style encoder on the generic artistic dataset to extract the representations of arbitrary styles. In addition, a weighted blending module (WBM) is proposed to blend face and style representations implicitly and control the arbitrary stylization effect. By doing so, BlendGAN can gracefully fit arbitrary styles in a unified model while avoiding case-by-case preparation of style-consistent training images. To this end, we also present a novel large-scale artistic face dataset AAHQ. Extensive experiments demonstrate that BlendGAN outperforms state-of-the-art methods in terms of visual quality and style diversity for both latent-guided and reference-guided stylized face synthesis.

研究の動機と目的

• 各スタイルごとに数100枚のスタイル一貫性のある画像を必要とする従来のGANベースのスタイル化手法の制限を解消すること。
• 再トレーニングや微調整なしに、任意のアートスタイルの顔スタイル化を1つの統合モデルで生成可能にすること。
• 顔とスタイルの潜在コードの相互作用を操作することで、スタイル化強度を調整可能な柔軟で制御可能なブレンドメカニズムを開発すること。
• 汎用的スタイル表現の学習を支援するため、大規模かつ多様なアート顔データセット（AAHQ）を導入すること。
• ラティスガイドドおよびリファレンスガイドド両方のスタイル化顔生成において、高い視覚的品質とスタイルの一貫性を実現すること。

提案手法

• AAHQデータセットを用いてインスタンス識別を用いた自己教師付きスタイルエンコーダーを訓練し、アート顔画像から分離可能なスタイル表現を抽出する。
• 顔の潜在コード（標準ガウス分布からのもの）とスタイルの潜在コードを、学習可能なブレンド重みを介して暗黙的に融合する重み付きブレンドモジュール（WBM）を導入する。
• 自然な顔画像（D_face）、スタイル化顔画像（D_style）、スタイル潜在一貫性（D_style_latent）の3つの識別器を用いる。
• 2段階のトレーニング戦略を採用：まずAAHQでスタイルエンコーダーを事前学習し、その後FFHQおよびAAHQで生成器、WBM、識別器を共同で学習する。
• WBMをランダムな潜在コードまたはリファレンス画像のスタイルコードに条件づけることで、ラティスガイドドおよびリファレンスガイドド両方の合成を可能にする。
• WBMのインジケータを活用して、顔とスタイルの特徴間のブレンド比率を制御し、微細なスタイル化制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スタイル固有の微調整や大規模なスタイル一貫性データセットを必要とせず、1つのGANモデルが任意のアートスタイルの顔スタイル化を生成可能か？
• RQ2 汎用的アートデータセットで学習された自己教師付きスタイルエンコーダーは、多様で分離可能なスタイル表現をどれほど効果的に捉えられるか？
• RQ3 重み付きブレンドモジュールは、高精細なスタイル化を実現するための制御可能で暗黙的な顔とスタイルの潜在コード統合をどの程度可能にするか？
• RQ4 本フレームワークは、ラティスガイドドおよびリファレンスガイドド両設定において、視覚的品質とスタイル多様性の両面で従来手法を上回るか？
• RQ5 モデルは再トレーニングなしに未学習のスタイルに一般化可能か？また、リファレンス画像とのスタイル一貫性はどのように維持されるか？

主な発見

• BlendGANは、リファレンスガイドドスタイル化顔生成において、3.79というFréchet Inception Distance（FID）を達成し、先行研究の最先端手法を著しく上回った。
• ラティスガイドド合成においてはFIDが15.08に達し、多様で高品質なスタイル化顔の生成において優れた性能を示した。
• BlendGANのLPIPSスコアは、比較対象の全手法の中で最高であり、参照スタイルとの間の優れたスタイル多様性と知覚的類似性を示している。
• 一部のFFHQでトレーニングされた従来のGANとは異なり、異なる肌色の顔に対しても高品質な生成を維持しており、明るい肌の顔に顕著なバイアスを示さない。
• 重み付きブレンドモジュールにより、スタイル化強度の効果的な制御が可能であり、高いブレンド比でも視覚的品質が保持された。
• AAHQデータセットの汎用性と自己教師付きスタイルエンコーダーのおかげで、未学習のアートスタイルに対しても良好な一般化性能を示した。