[논문 리뷰] Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis

Ceyuan Yang, Yujun Shen외 1명|arXiv (Cornell University)|2019. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 60인용 수 41

한 줄 요약

이 논문은 StyleGAN과 BigGAN에서 계층별 잠재 코드가 장면 합성에 인간이 이해할 수 있는 계층적 의미 구조를 유도하는 방식을 분석하고, 레이아웃, 물체, 속성, 색 구성표를 emergent variation factors로 식별하며 이를 조작하는 방법을 보여준다.

ABSTRACT

Despite the success of Generative Adversarial Networks (GANs) in image synthesis, there lacks enough understanding on what generative models have learned inside the deep generative representations and how photo-realistic images are able to be composed of the layer-wise stochasticity introduced in recent GANs. In this work, we show that highly-structured semantic hierarchy emerges as variation factors from synthesizing scenes from the generative representations in state-of-the-art GAN models, like StyleGAN and BigGAN. By probing the layer-wise representations with a broad set of semantics at different abstraction levels, we are able to quantify the causality between the activations and semantics occurring in the output image. Such a quantification identifies the human-understandable variation factors learned by GANs to compose scenes. The qualitative and quantitative results further suggest that the generative representations learned by the GANs with layer-wise latent codes are specialized to synthesize different hierarchical semantics: the early layers tend to determine the spatial layout and configuration, the middle layers control the categorical objects, and the later layers finally render the scene attributes as well as color scheme. Identifying such a set of manipulatable latent variation factors facilitates semantic scene manipulation.

연구 동기 및 목표

• 레이아웃, 물체, 속성, 색상 등 다중 추상 수준에 걸쳐 GAN이 장면 합성 과정에서 학습하는 의미 요인들을 조사한다.
• 최신 GAN에서 층별 생성기 활성화와 출력 의미 간의 인과 관계를 정량화한다.
• 조작 가능한 잠재 변화 요인을 식별하고 이를 생성기 층에 매핑하여 의미 있는 장면 편집을 가능하게 한다.
• 외부 감독 없이 계층적 의미가 등장함을 보여주고 다양한 장면 편집을 가능하게 한다.
• StyleGAN, BigGAN, PGGAN 등 다양한 GAN 아키텍처에 대한 접근 방식의 일반화를 보여준다.

제안 방법

• GAN 잠재 코드를 여러 생성기 층에 입력되는 계층별 생성 표현으로 간주한다(층별 확률적 요인).
• 네 가지 추상 수준(레이아웃, 물체, 속성, 색상)을 정의하고 일반적으로 구입 가능한 분류기를 사용해 합성 이미지에서 의미를 점수화한다.
• 각 의미 개념을 이진 작업으로 다루고 선형 SVM 결정 경계를 학습시켜 잠재 공간을 탐색한다.
• 경계 노멀 방향으로 잠재 코드를 이동시키고 의미 변화(Delta s_i)를 재점수화하여 조작 가능한 변화 요인을 검증한다.
• 레이어와 의미 체계 전반에 걸쳐 독립적, 결합적, 지터링(manipulation)을 통해 장면을 편집한다.
• StyleGAN, BigGAN, PGGAN을 실내/실외 장면에 적용하고, 설명된 바와 같이 FID/LSUN/Places 데이터를 사용하며 계층별 특화성(레이아웃은 하단, 색상은 상단)을 정량화한다.

실험 결과

연구 질문

• RQ1 다중 추상 수준에서 장면을 합성할 때 GAN에서 어떤 의미 요인이 나타나는가?
• RQ2 이 의미 요인들이 StyleGAN/BigGAN/PGGAN의 어느 층에 분포하는가?
• RQ3 계층별 잠재 코드로 emergent variation factors를 정량적으로 식별하고 조작할 수 있는가?
• RQ4 층별 잠재 표현이 서로 다른 GAN 아키텍처와 장면 범주에 일반화되는가?

주요 결과

• GAN 표현에서 계층적 의미 구조가 등장한다: 초반 층은 레이아웃을 제어하고, 중간 층은 물체를, 후반 층은 속성과 색 구성표를 렌더링한다.
• 층별 잠재 코드를 의미 경계에 따라 이동시켜 다양한 의미적으로 일관된 편집을 가능하게 한다.
• 중간 층은 카테고리 특화 물체를 인코딩하여 레이아웃과 고수준 속성을 보존하면서 카테고리 변환(예: 침실에서 거실로)을 가능하게 한다.
• 경계 방향을 넘어설 때 의미 점수 변화를 측정해 의미적으로 관련된 variation factor를 재점수화하는 기법.
• 실험은 StyleGAN, BigGAN, PGGAN 전반에서 일관된 층-의미 매핑을 보이며, 분류기와 층 관련성에 대한 사용자 연구를 통한 정량적 검증을 제시한다.
• 표 1은 여러 장면 범주에 대한 Fréchet Inception Distance (FID) 값을 보고한다(예: bedroom 2.65; living room 5.16; kitchen 5.06; restaurant 4.03; bridge 6.42; church 4.82; tower 5.99; mixed 3.74).