[論文レビュー] Interpreting the Latent Space of GANs for Semantic Face Editing

Yujun Shen, Jinjin Gu+2 more|arXiv (Cornell University)|Jul 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 75

ひとこと要約

この論文は InterFaceGAN を紹介します。GAN の顔の属性に対応する線形潜在サブスペースを発見・活用するフレームワークで、再訓練なしに意味的な顔編集を可能にします。GAN inversion と投影ベースの条件付けによって、PGGAN、StyleGAN、実画像にわたる分離可能で制御可能な属性操作を実証します。

ABSTRACT

Despite the recent advance of Generative Adversarial Networks (GANs) in high-fidelity image synthesis, there lacks enough understanding of how GANs are able to map a latent code sampled from a random distribution to a photo-realistic image. Previous work assumes the latent space learned by GANs follows a distributed representation but observes the vector arithmetic phenomenon. In this work, we propose a novel framework, called InterFaceGAN, for semantic face editing by interpreting the latent semantics learned by GANs. In this framework, we conduct a detailed study on how different semantics are encoded in the latent space of GANs for face synthesis. We find that the latent code of well-trained generative models actually learns a disentangled representation after linear transformations. We explore the disentanglement between various semantics and manage to decouple some entangled semantics with subspace projection, leading to more precise control of facial attributes. Besides manipulating gender, age, expression, and the presence of eyeglasses, we can even vary the face pose as well as fix the artifacts accidentally generated by GAN models. The proposed method is further applied to achieve real image manipulation when combined with GAN inversion methods or some encoder-involved models. Extensive results suggest that learning to synthesize faces spontaneously brings a disentangled and controllable facial attribute representation.

研究の動機と目的

• GAN 潜在空間にエンコードされた顔合成の意味的属性を特定する。
• 潜在空間の線形超平面が二値属性（姿勢、笑顔、年齢、性別、眼鏡）を分離することを示す。
• 属性表現が線形変換後に分離可能となり、混同行を最小限に抑えて操作できることを示す。
• 再訓練なしで固定された GAN モデル上で正確な属性編集を実現し、 inversion を介した実画像編集も含む。
• 条件付き操作へ拡張して属性の相関をデコレートし、生成顔のアーチファクトを修正する。

提案手法

• 画像の意味スコアを潜在コードの線形関数としてモデル化する： s = f(g(z)) ≈ λ n^T z で正規ベクトル n を持つ超平面。
• 二値属性（姿勢、笑顔、年齢、性別、眼鏡）の潜在空間で線形 SVM 境界を学習して属性のハイパープレーンを同定する。
• 単一属性を操作するために潜在コード edit を z_edit = z + α n として用い、α は意味的変化の強さを制御する。
• 正規直交化を用いた投影による属性方向の直交化によって条件付き操作を適用し、属性をデコレールする。
• GAN inversion（最適化ベースまたはエンコーダーベース）で実画像を潜在コードにマッピングしてから操作を適用し、実画像編集を拡張する。
• PGGAN と StyleGAN の潜在空間を比較し、StyleGAN の Z-space と W-space を分析する。潜在空間での投影ベースのデコレレーションの使用も含む。

実験結果

リサーチクエスチョン

• RQ1 GAN 潜在空間で二値顔属性を線形超平面で分離できるか？
• RQ2 線形潜在サブスペースは離散的な意味属性に対応し、独立して操作できるのか？
• RQ3 条件付き投影は属性の相関をデコレ出来、複数属性の編集を他の変化を引き起こさずに可能にするか？
• RQ4 GAN inversion やエンコーダーベースモデルを介してこれらの意味が実画像へどれだけうまく伝わるか？
• RQ5 PGGAN と StyleGAN の潜在空間には、分離性と編集可能性の違いがあるのか？

主な発見

• 潜在空間の線形超平面は、検証精度が高く属性を分離する（姿勢 100.0%、笑顔 96.9%、年齢 97.9%、性別 98.7%、眼鏡 95.6%；全属性の pose はすべてのデータで 90.3%、笑顔は 78.5%、年齢は 75.3%、性別は 84.2%、眼鏡は 80.1%）。
• GAN にエンコードされた意味は、対応する潜在方向に沿って移動させることで操作でき、性別、年齢、表情、眼鏡、姿勢、アーチファクトの修正を可能にする。
• 属性は混合の程度が異なることを示す；投影による条件付き操作は他の属性への意図しない変化を減らす（例：年齢と性別、眼鏡と年齢）。
• StyleGAN の W-space は Z-space よりも分離性が強く、長距離の属性編集を支援する一方、Z-space は条件付き投影によるデコレレーションの恩恵を受ける。
• 実画像編集は実現可能：実顔を潜在コードに逆写像して InterFaceGAN の方向を適用することで編集でき、StyleGAN inversion が特に強い結果を示す。
• 生成画像のアーチファクトは、潜在コードを「品質」方向へ移動させることで部分的に修正できる。