[논문 리뷰] StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation

Zongze Wu, Dani Lischinski외 1명|arXiv (Cornell University)|2020. 11. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 42

한 줄 요약

요약: 이 논문은 StyleSpace(StyleGAN2의 채널별 스타일 매개변수)를 분석하여 높은 해독성을 보이고, 지역 스타일 채널을 발견하는 방법을 제시하며, 속성-의존적 해독성 지표를 활용한 속성 특정 및 실제 이미지 조작을 입증한다.

ABSTRACT

We explore and analyze the latent style space of StyleGAN2, a state-of-the-art architecture for image generation, using models pretrained on several different datasets. We first show that StyleSpace, the space of channel-wise style parameters, is significantly more disentangled than the other intermediate latent spaces explored by previous works. Next, we describe a method for discovering a large collection of style channels, each of which is shown to control a distinct visual attribute in a highly localized and disentangled manner. Third, we propose a simple method for identifying style channels that control a specific attribute, using a pretrained classifier or a small number of example images. Manipulation of visual attributes via these StyleSpace controls is shown to be better disentangled than via those proposed in previous works. To show this, we make use of a newly proposed Attribute Dependency metric. Finally, we demonstrate the applicability of StyleSpace controls to the manipulation of real images. Our findings pave the way to semantically meaningful and well-disentangled image manipulations via simple and intuitive interfaces.

연구 동기 및 목표

• StyleGAN2 잠재공간(Z, W, S)의 해독성을 실제 데이터로 학습된 모델에서 평가한다.
• 특정 이미지 영역을 제어하는 지역적으로 활성화된 StyleSpace 채널을 식별하고 특성화한다.
• 속성 및 영역을 제어하는 채널을 탐지하기 위한 비지도 학습 또는 최소 감독 학습 방법을 개발한다.
• 조작의 해독성을 정량화하기 위한 속성 의존도(ad) 지표를 제안한다.
• StyleSpace 제어를 실제 이미지 조작 및 역전략에 적용 가능하다고 입증한다.

제안 방법

• FFHQ에서 40개 CelebA 기반 분류기들로 DCI 지표(해독성, 완전성, 정보성)를 사용하여 잠재공간 Z, W, StyleSpace S를 정량적으로 비교한다.
• StyleSpace 채널을 통해 역전파하여 그라디언트 맵을 임계화하고, 의미 맵과의 중첩을 측정하여 지역적으로 활성화된 채널을 식별하는 그라디언트 기반 локал라이제이션을 개발한다.
• 타깃 속성을 제어하는 채널을 exemplars-mean 스타일 벡터와 모집단 통계와의 차이를 비교하여 검출하는 간단한 예시 기반 방법을 제안한다.
• 다른 속성에 미치는 영향을 정량화하는 속성 의존도(AD)를 도입하여 방법 간 비교를 가능하게 한다.
• 의미 맵을 위한 세그먼트 네트워크를 사용하여 FFHQ, LSUN Car, LSUN Bedroom 데이터셋에서 위치 기반 탐지 및 속성 제어를 평가한다.
• W, W+, S 공간에서의 역전 전략을 논의하고 실제 이미지 조작을 위한 엔코더 초기화 + 희소 잠재 최적화의 하이브리드 접근 방식을 제안한다.

실험 결과

연구 질문

• RQ1 실제 데이터로 학습된 StyleGAN2에 대해 StyleSpace S가 Z, W 또는 W+보다 더 해독적인가?
• RQ2 각각 다른 시각적 속성이나 영역을 제어하는 지역적으로 활성화된 StyleSpace 채널의 대규모 집합을 식별할 수 있는가?
• RQ3 적은 수의 양의 예시로 타깃 속성을 제어하는 채널을 안정적으로 식별할 수 있는가?
• RQ4 StyleSpace가 GANSpace나 InterFaceGAN에 비해 실제 이미지의 속성 조작에서 더 해독적인가?
• RQ5 실제 이미지를 StyleSpace 내에서 역전하고 조작하는 방법이 현실성 및 제어 가능성을 보존하도록 하는가?

주요 결과

• StyleSpace S는 FFHQ에서 DCI 지표에 따라 Z, W, W+보다 더 높은 해독성 및 완전성을 보이며, 정보성은 모든 경우에 높지만 차별적 요인은 아니다.
• 로컬하게 활성화된 StyleSpace 채널의 대규모 집합(FFHQ 모델의 6048개 비-tRGB 채널 중 1871개)이 머리카락, 입, 옷, 침대, 바퀴 등 국소적 의미 영역을 제어하며 높은 영역적 위치화와 해독성을 보인다.
• 속성별 채널은 10–30개의 양의 예시로도 식별 가능하며, 국소적으로 활성화된 채널의 경우 상위 5개 정확도가 일부 경우에서 92%를 초과한다.
• StyleSpace 기반 조작은 GANSpace나 InterFaceGAN보다 속성 의존도(AD)가 더 낮아 실제 이미지에서 더 해독된 편집을 나타낸다.
• S 공간에서의 실제 이미지 역전은 W, W+, S 중에서 가장 높은 재구성 정확도를 보이며, 짧은 최적화 시퀀스와 결합될 때 더 자연스러운 조작을 유지한다.
• 제안된 그래디언트 중첩 및 예시-평균 방법은 의미 편집을 위한 해석 가능하고 지역화된 StyleSpace 채널을 발견하고 순위를 매기는 실용적이고 확장 가능한 수단을 제공한다.