[論文レビュー] Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis

Ceyuan Yang, Yujun Shen+1 more|arXiv (Cornell University)|Nov 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 60被引用数 41

ひとこと要約

本論は、StyleGANとBigGANにおける層別潜在コードが、シーン合成において階層的で人間が理解可能な意味構造を誘発することを分析し、レイアウト、オブジェクト、属性、配色の変動因子が出現することを特定し、それらを操作する方法を示す。

ABSTRACT

Despite the success of Generative Adversarial Networks (GANs) in image synthesis, there lacks enough understanding on what generative models have learned inside the deep generative representations and how photo-realistic images are able to be composed of the layer-wise stochasticity introduced in recent GANs. In this work, we show that highly-structured semantic hierarchy emerges as variation factors from synthesizing scenes from the generative representations in state-of-the-art GAN models, like StyleGAN and BigGAN. By probing the layer-wise representations with a broad set of semantics at different abstraction levels, we are able to quantify the causality between the activations and semantics occurring in the output image. Such a quantification identifies the human-understandable variation factors learned by GANs to compose scenes. The qualitative and quantitative results further suggest that the generative representations learned by the GANs with layer-wise latent codes are specialized to synthesize different hierarchical semantics: the early layers tend to determine the spatial layout and configuration, the middle layers control the categorical objects, and the later layers finally render the scene attributes as well as color scheme. Identifying such a set of manipulatable latent variation factors facilitates semantic scene manipulation.

研究の動機と目的

• シーン合成において、複数の抽象レベル（レイアウト、オブジェクト、属性、色）を横断して、 GANが学習する意味因子を調査する。
• 最先端GANの層別生成器の活性化と出力意味との因果関係を定量化する。
• 操作可能な潜在変動因子を特定し、それらを生成器の層に対応づけて意味的なシーン編集を可能にする。
• 外部監督なしに階層的意味論が出現することを示し、多様なシーン操作を可能にする。
• アプローチが異なるGANアーキテクチャ（StyleGAN、BigGAN、PGGAN）へ一般化することを示す。

提案手法

• GAN潜在コードを層別に複数の生成層へ入力される生成表現として扱う（層ごとの確率的性質）。
• 4つの抽象レベル（レイアウト、オブジェクト、属性、色）を定義し、市販の分類器を用いて生成画像から意味をスコアリングする。
• 各意味概念を二値タスクとして扱い、線形SVMの決定境界を訓練して潜在空間を探査する。
• 境界法線に沿って潜在コードを移動させ、意味の変化を再スコアリングして操作可能な変動因子を検証する（Delta s_i）。
• 層と意味にまたがって独立的・結合的・ジッタリング的な操作を実行してシーンを編集する。
• StyleGAN、BigGAN、PGGANに対して室内/屋外シーンで適用し、FID/LSUN/Places を使用し、層別特化（レイアウトは下層、カラーは上層）を定量化する。

実験結果

リサーチクエスチョン

• RQ1 複数の抽象レベルを横断してシーンを合成する際、GANでどのような意味因子が出現するか。
• RQ2 これらの意味因子は StyleGAN/BigGAN/PGGAN の生成層にどう分布するか。
• RQ3 層別潜在コードを用いて出現する変動因子を定量的に同定・操作できるか。
• RQ4 層別潜在表現は異なるGANアーキテクチャとシーンカテゴリに一般化するか。

主な発見

• GAN表現には階層的な意味構造が出現する：初期層がレイアウトを、中間層がオブジェクトを、後半層が属性と配色を生成。
• 層別潜在コードは semantic boundaries に沿って潜在コードを移動させることで操作可能なシーン編集を可能にし、多様で意味的に整合した編集を生む。
• 中間層はカテゴリ別オブジェクトを符号化し、レイアウトと高レベル属性を維持しつつカテゴリ変換（例：寝室からリビングルームへ）を可能にする。
• 境界方向を越えるときの意味スコアの変化を測定して、意味的に関連する変動因子を再スコアリングする手法。
• 実験は StyleGAN、BigGAN、PGGAN で層と意味の一貫した対応を示し、分類器による定量的検証と層の関連性に関するユーザー調査で検証。
• Table 1 は複数のシーンカテゴリに対する Fréchet Inception Distance (FID) の値を報告する（例：寝室 2.65；リビングルーム 5.16；キッチン 5.06；レストラン 4.03；橋 6.42；教会 4.82；塔 5.99；混合 3.74）。