[論文レビュー] SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing

Yichun Shi, Xiao Yang+2 more|arXiv (Cornell University)|Dec 3, 2021

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

SemanticStyleGANは、局所的な意味的パーツ（例：目、髪、口）を専用の潜在コードでモデル化することで、潜在空間を分解能を高めて、構造とテクスチャの両方に対して細分化された制御を可能にする構成的GANアーキテクチャを導入する。画像とセグメンテーションマスクの両方で同時に学習することで、優れた分解能を達成し、既存のStyleGANベースの手法と組み合わせることで、より正確な編集が可能になる。

ABSTRACT

Recent studies have shown that StyleGANs provide promising prior models for downstream tasks on image synthesis and editing. However, since the latent codes of StyleGANs are designed to control global styles, it is hard to achieve a fine-grained control over synthesized images. We present SemanticStyleGAN, where a generator is trained to model local semantic parts separately and synthesizes images in a compositional way. The structure and texture of different local parts are controlled by corresponding latent codes. Experimental results demonstrate that our model provides a strong disentanglement between different spatial areas. When combined with editing methods designed for StyleGANs, it can achieve a more fine-grained control to edit synthesized or real images. The model can also be extended to other domains via transfer learning. Thus, as a generic prior model with built-in disentanglement, it could facilitate the development of GAN-based applications and enable more potential downstream tasks.

研究の動機と目的

• StyleGANにおける細分化された制御の欠如、すなわちグローバルな潜在コードが画像全体に影響を与えるという問題に対処すること。
• グローバルな干渉なしに、局所的な意味的領域（例：目、髪）の分解済みの操作を可能にする生成的事前分布を開発すること。
• 初期の事前学習でセグメンテーションマスクを使用した後、画像データのみで新しいドメイン（例：ファッション、アニメ）への転移学習を可能にすること。
• 既存のStyleGAN編集手法と組み合わせることで、強化された局所的画像編集機能を実現すること。

提案手法

• 生成器は、セグメンテーションマスクによって定義された意味的パーツごとに責任をもつ局所的生成器の集合を使用する。
• 各局所的生成器は、その対応するパーツの形状とテクスチャを制御する専用の潜在コードに条件付けられる。
• 局所的生成器からの特徴量はマスクを用いた統合によって集約され、最終的な画像が合成される。
• モデルは、画像再構成とセグメンテーションマスクの整合性の両方をモデル化する共同目的関数を用いて、エンドツーエンドで訓練される。
• アーキテクチャは、意味的領域ごとに特徴量の変調を分離することで空間的分解能を強制し、領域間干渉を低減する。
• 画像のみのデータセットでの微調整により、転移学習をサポートするとともに、局所的分解能を維持する。

(a)

実験結果

リサーチクエスチョン

• RQ1 高品質な画像を維持しながら、潜在空間内で局所的な意味的パーツを分解能を高めて学習できるか？
• RQ2 局所的潜在コードは、グローバルなStyleGAN制御と比較して、特定の画像領域に対するより正確な編集を可能にするか？
• RQ3 セグメンテーションマスクが微調整中に使用されない画像のみのデータセットで、モデルが効果的に微調整可能で、空間的分解能を維持できるか？
• RQ4 既存のStyleGAN編集手法と統合された場合、モデルは制御性を向上させるか？
• RQ5 ファッションやアニメーション画像のような顔以外のドメインへ、モデルはどの程度一般化できるか？

主な発見

• SemanticStyleGANは空間的領域間で強い分解能を達成し、局所的パーツの構造とテクスチャを独立して制御可能である。
• 最適化ベースの編集（例：StyleCLIP）と組み合わせることで、ユーザー指定の領域を尊重した忠実な局所的編集が可能になる。
• Toonify、MetFaces、BitMojiなどの画像のみのデータセットでの微調整後でも、モデルは局所的分解能を維持している。微調整中はセグメンテーションマスクが使用されていないにもかかわらず。
• モデルは顔以外のドメイン、特にDeepFashionのようなドメインへも一般化に成功し、意味的パーツごとに多様な衣類スタイルの制御可能な生成が可能になった。
• 質の高い画像合成と向上した編集可能性が実証されており、定量的結果では、グローバルなアーティファクトを伴わず、正確な局所的変更が明確に示されている。
• 特に髪型や顔の特徴を編集する際、不必要な変化が最小限に抑えられるなど、局所的編集タスクにおいて標準のStyleGANを上回っている。

(b)