[論文レビュー] Mask-Guided Discovery of Semantic Manifolds in Generative Models

Mengyu Yang, David Rokeby+1 more|ArXiv.org|May 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 4

ひとこと要約

本稿では、StyleGAN2のような生成モデルの潜在空間において滑らかで局所的な意味的多様体を発見するためのマスクガイド付き最適化手法を提案する。知覚損失とスプリングベースの正則化を用いることで、実際的で領域特化型の顔の変化を生み出す潜在変数の系列が生成され、ラベルなし、モデルの変更なしに制御可能なアニメーションと分離可能な操作が可能になる。

ABSTRACT

Advances in the realm of Generative Adversarial Networks (GANs) have led to architectures capable of producing amazingly realistic images such as StyleGAN2, which, when trained on the FFHQ dataset, generates images of human faces from random vectors in a lower-dimensional latent space. Unfortunately, this space is entangled - translating a latent vector along its axes does not correspond to a meaningful transformation in the output space (e.g., smiling mouth, squinting eyes). The model behaves as a black box, providing neither control over its output nor insight into the structures it has learned from the data. We present a method to explore the manifolds of changes of spatially localized regions of the face. Our method discovers smoothly varying sequences of latent vectors along these manifolds suitable for creating animations. Unlike existing disentanglement methods that either require labelled data or explicitly alter internal model parameters, our method is an optimization-based approach guided by a custom loss function and manually defined region of change. Our code is open-sourced, which can be found, along with supplementary results, on our project page: https://github.com/bmolab/masked-gan-manifold

研究の動機と目的

• 生成モデルの潜在空間に、局所的な顔の属性変化に対応する滑らかで意味のある多様体を同定すること。
• ラベルデータを必要とせず、生成された顔の局所的制御操作（例：口の形、目元の表情）を可能にすること。
• これらの意味的多様体を走査することで、高品質で滑らかなアニメーションを生成する方法を提供すること。
• 解釈可能で制御可能な形で、分離可能な顔の変異の幾何的構造を解明すること。
• 監視やアーキテクチャの変更に依存しないブラックボックス型で最適化に基づく、従来の分離手法の代替手法を提供すること。

提案手法

• 顔の特定領域（例：口）におけるマスク領域内の距離を最小化しつつ、残りの顔全体を保持するように、知覚的またはL2距離を用いた領域特化型損失関数 ℒ_X を定義する。
• ユーザーが提供する初期潜在変数 z* と長方形のマスク M を用いて、操作対象の顔領域を特定する。
• 連続する潜在変数の系列における滑らかな遷移を保証するため、スプリングベースの正則化損失 ℒ_spring を適用する。
• 2次スプリング制約（k=1,2）を用いて、潜在空間内のパスに沿った曲率を最小化し、均等な間隔を維持する。
• L-BFGSを用いて、組み合わせ損失 αℒ_X + βℒ_spring(k=1) + γℒ_spring(k=2) を最小化するように、全目的関数を最適化し、潜在変数の系列 Z を求める。
• 得られた潜在空間内のパスは、生成器を介してデコードされた際に視覚的に滑らかで局所的な顔のアニメーションを生み出す。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのGANの潜在空間において、ラベルデータを必要とせずに滑らかで局所的な意味的多様体を発見できるか？
• RQ2 最適化をどのようにガイドすれば、特定の顔領域のみが変化し、他の領域は安定したままになるか？
• RQ3 スプリングベースの正則化は、潜在空間パスから視覚的に滑らかで自然な顔のアニメーションをどの程度効果的に生成できるか？
• RQ4 本手法は、異なる初期顔画像や任意のマスク領域に一般化可能か？
• RQ5 顔の意味的整合性を維持する上で、知覚的距離とピクセル単位の距離のどちらがより効果的か？

主な発見

• 本手法は、マスク領域に限定された滑らかで局所的な顔の変化を効果的に生成し、非マスク領域での歪みは最小限に抑えられる。
• LPIPSを用いた知覚損失の使用により、L2距離に比べて顔のテクスチャーや構造においてより自然な遷移が得られる。
• スプリング正則化は、潜在空間内で低曲率かつ均等に間隔をあけたパスを効果的に生成し、高品質なアニメーションを可能にする。
• 補足資料に示される複数の例から、多様な初期顔画像とマスク領域にわたって本手法が一般化可能であることが実証された。
• モデル重みの変更や属性アノテーションを一切必要とせず、意味的で意味のある多様体が最適化プロセスによって発見された。
• 制約のないユーザー定義マスクを用いて、口の形や目元の表情といった顔の属性に対してピuppetry（操り人形）のような制御が可能になった。