[論文レビュー] MagGAN: High-Resolution Face Attribute Editing with Mask-Guided Generative Adversarial Network

Yi Wei, Zhe Gan+6 more|arXiv (Cornell University)|Oct 3, 2020

Face recognition and analysis参考文献 45被引用数 6

ひとこと要約

MagGANは、事前学習されたパーサーから得られる顔のセマンティックマスクを用いて、高解像度（1024×1024）の顔属性編集を実現するマスクガイドド生成的敵対ネットワークを提案する。この手法は、属性に関係のない領域（例：帽子、スカーフ）を保存しつつ、正確で局所的な編集を可能にする。マスクガイドド再構成損失、新規のマスクガイドド条件付け戦略、およびマルチレベルのパッチワイズ判別器を用いることで、先行手法を著しく上回る画像品質と編集精度を達成する。

ABSTRACT

We present Mask-guided Generative Adversarial Network (MagGAN) for high-resolution face attribute editing, in which semantic facial masks from a pre-trained face parser are used to guide the fine-grained image editing process. With the introduction of a mask-guided reconstruction loss, MagGAN learns to only edit the facial parts that are relevant to the desired attribute changes, while preserving the attribute-irrelevant regions (e.g., hat, scarf for modification `To Bald'). Further, a novel mask-guided conditioning strategy is introduced to incorporate the influence region of each attribute change into the generator. In addition, a multi-level patch-wise discriminator structure is proposed to scale our model for high-resolution ($1024 imes 1024$) face editing. Experiments on the CelebA benchmark show that the proposed method significantly outperforms prior state-of-the-art approaches in terms of both image quality and editing performance.

研究の動機と目的

• 顔属性編集における不正確な局所化を解消すること。具体的には、帽子やスカーフなどの関係のない領域が意図せず変更されるのを防ぐ。
• これまでの研究で未だ未解決の高解像度（1024×1024）の顔属性編集を実現すること。
• 顔のセマンティックマスクを活用して、生成時に属性に関連する領域にのみガイドすることで、編集忠実度を向上させること。
• 各属性変更に対して空間的に整合した影響領域を明示的にモデル化する条件付け機構を開発すること。
• マルチレベルのパッチワイズ判別器を用いて、高解像度生成における訓練の安定化とリアリスティックな品質の向上を図ること。

提案手法

• 事前学習された顔パーサーによって特定された属性関連領域に限定して編集を制約する、マスクガイドド再構成損失を導入。これにより、帽子やスカーフなどの属性に関係のない領域が保存される。
• 各属性変更における空間的に整合した影響領域を学習する、新規のマスクガイドド条件付け戦略を提案。これにより、属性編集とターゲット顔部の間の整合性が向上する。
• 粗〜細かい受容 field を持つマルチレベルのパッチワイズ判別器を採用。これにより、1024×1024 画像生成における訓練の安定化とリアリズムの向上が達成される。
• 属性と顔部の間の意味的関係をエンコードする、事前に定義された属性-顔部関係行列（AR⁺, AR⁻）を活用。この行列は再構成と条件付けの両方をガイドする。
• エンコーダ-デコーダフレームワークと差分属性ベクトル入力を備えたSTGANのアーキテクチャを基盤とし、マスクベースの監視と空間的条件付けを追加して拡張。
• 事前学習された顔パーサーを活用し、微細な編集に適した幾何学的・意味的制約を与えるソフトセグメンテーションマスクを生成する。

実験結果

リサーチクエスチョン

• RQ1 セマンティック顔マスクを用いることで、属性編集における局所化精度が向上し、編集が関係のある顔領域に限定されるのか？
• RQ2 属性変更情報は、空間的に意識された表現にどのように条件付けられるか。これにより、関係のない領域への不測の変更を回避できるか？
• RQ3 どのようなアーキテクチャ設計が、1024×1024 顔属性編集における安定的かつ高品質な訓練を可能にするか？
• RQ4 標準的な GAN ベース手法と比較して、マスクガイドド監視は画像忠実度と編集の一貫性をどの程度向上させるか？
• RQ5 モデルは多様な属性編集に一般化可能であり、アイデンティティと背景の詳細を保存できるか？

主な発見

• CelebAベンチマークにおいて、STGANなどのSOTA手法を上回る画像品質と編集性能を、ユーザー評価を通じて実証した。
• ユーザー調査では、STGANがより目立つ編集を生成するにもかかわらず、MagGANがSTGANよりも好まれた。これは、MagGANが帽子やスカーフなどの属性に関係のない領域を変更しないからである。
• マスクガイドド再構成損失は、編集対象外の領域を効果的に保存し、帽子やスカーフなどの領域でのアーティファクトを低減した。
• マルチレベルのパッチワイズ判別器により、1024×1024解像度での安定した訓練と高忠実度の生成が可能となり、髪や肌の細部が良好に保持された。
• 定量的評価では、属性変更が行われない場合の入力画像に対するPSNRおよびSSIM値が上昇しており、元の入力への忠実度が向上していることが示された。
• 属性-顔部関係行列（AR⁺, AR⁻）により、属性変更が特定の顔部に正確にマッピングされ、編集の精度が向上した。