[論文レビュー] Domain Embedded Multi-model Generative Adversarial Networks for Image-based Face Inpainting

Xian Zhang, Xin Wang+8 more|arXiv (Cornell University)|Feb 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 7

ひとこと要約

本稿では、顔のマスク、ランドマーク、パーツなど顔固有のドメイン知識を変分オートエンコーダー由来の潜在空間に埋め込むことで、高品質な画像ベースの顔補完を実現する、ドメイン埋め込み型マルチモード生成対抗ネットワーク（DEGNet）を提案する。本手法は、構造的一致性と写実的なディテールを確保するため、グローバルおよびパッチレベルの対抗損失を用いたマルチディスクライマー構成を採用し、CelebA、CelebA-HQ、特に挑戦的な側顔補完において、最先端の性能を達成した。

ABSTRACT

Prior knowledge of face shape and structure plays an important role in face inpainting. However, traditional face inpainting methods mainly focus on the generated image resolution of the missing portion without consideration of the special particularities of the human face explicitly and generally produce discordant facial parts. To solve this problem, we present a domain embedded multi-model generative adversarial model for inpainting of face images with large cropped regions. We firstly represent only face regions using the latent variable as the domain knowledge and combine it with the non-face parts textures to generate high-quality face images with plausible contents. Two adversarial discriminators are finally used to judge whether the generated distribution is close to the real distribution or not. It can not only synthesize novel image structures but also explicitly utilize the embedded face domain knowledge to generate better predictions with consistency on structures and appearance. Experiments on both CelebA and CelebA-HQ face datasets demonstrate that our proposed approach achieved state-of-the-art performance and generates higher quality inpainting results than existing ones.

研究の動機と目的

• 既存の画像補完手法が、特に大きなまたは不規則にクロップされた領域において、構造的に整合性のある顔の部品を生成する点に限界を示しているのを是正すること。
• 人間の顔構造に関する事前知識（対称性、パーツ間関係、ランドマークなど）を生成プロセスに明示的に組み込むこと。
• 従来の手法が顔の特徴が欠落または曖昧になるため失敗する、側顔補完のような困難なケースの性能を向上させること。
• マルチディスクライマー対抗学習方式を用いて、グローバルな空間的一致性とローカルなテクスチャリアリズムの両方を向上させる統合フレームワークの構築

提案手法

• 顔固有のドメイン情報（マスク、ランドマーク、パーツセグメンテーション）が、変分オートエンコーダーを用いて潜在空間に符号化され、生成器のための構造的プライアを形成する。
• 生成器は、このドメイン埋め込み潜在コードと非顔領域特徴を統合し、構造的・外観的一致性を持つ高精細な顔画像を合成する。
• 二重ディスクライマー構造が採用されている：グローバルディスクライマーは全体的な空間的一致性を保証し、パッチレベルディスクライマーはローカルなテクスチャリアリズムと微細なディテールを強化する。
• 再構成損失、グローバル対抗損失、パッチレベル対抗損失を組み合わせた訓練フレームワークにより、忠実性とリアリズムの両方を最適化する。
• 生成器とディスクライマー間で交互最適化を採用し、アブレーションスタディにより各構成要素の寄与度を検証した。
• 本手法は、正面顔および側顔補完の両方で評価され、不規則かつ大きな欠損領域に対しても頑健であることが示された。

実験結果

リサーチクエスチョン

• RQ1 顔固有のドメイン知識（例：ランドマーク、マスク、パーツラベル）を明示的に埋め込むことで、画像補完における顔の部品の構造的リアリズムが向上するか？
• RQ2 グローバルおよびパッチレベルの対抗ディスクライマーの組み合わせは、単一ディスクライマー手法と比較して、生成画像の品質および一貫性にどのように影響するか？
• RQ3 本手法は、顔の対称性や特徴の可視性が著しく低下する、側顔補完のような困難なケースに一般化可能か？
• RQ4 PSNRおよびSSIMで測定した場合、再構成損失、グローバルディスクライマー、パッチディスクライマーの各構成要素が最終的性能に果たす寄与度は何か？
• RQ5 ドメイン埋め込み潜在変数を用いることで、明示的な構造的プライアがないエンドツーエンド GAN よりも、より調和的でアーチファクトの少ない結果が得られるか？

主な発見

• CelebAおよびCelebA-HQデータセットにおいて、DEGNetは、通常の大穴領域においてPSNR 27.97、SSIM 0.926という最先端の性能を達成し、先行手法を上回った。
• 側顔補完においては、PSNR 25.36、SSIM 0.886を達成し、次善の手法（PM）の24.44（PSNR）および0.873（SSIM）を顕著に上回った。
• アブレーションスタディにより、再構成損失、グローバルディスクライマー、パッチディスクライマーの組み合わせが最良の性能（PSNR: 26.208、SSIM: 0.895）をもたらし、特にパッチディスクライマーがローカルディテール強化に重要な貢献をしていることが確認された。
• 定性的な結果から、DEGNetは対称的でリアルな顔の特徴（例：同じ大きさ・色の目）を生成しており、先行手法で一般的に見られる非対称性やぼやけを回避している。
• 不規則な形状の欠損領域に対しても、高い視覚的品質と構造的一致性を維持することができ、図5でその有効性が示された。
• ドメイン埋め込み潜在変数の導入により、特に大きな欠損領域において構造的一致性が顕著に向上し、アーチファクトが減少し、知覚的品質が向上した。