[논문 리뷰] Interpreting the Latent Space of GANs for Semantic Face Editing

Yujun Shen, Jinjin Gu외 2명|arXiv (Cornell University)|2019. 07. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 75

한 줄 요약

본 논문은 InterFaceGAN을 소개합니다. 이는 GAN의 얼굴 속성에 해당하는 선형 잠재 공간을 발견하고 활용하여 재학습 없이 의미론적 얼굴 편집을 가능하게 하는 프레임워크입니다. 이를 통해 PGGAN, StyleGAN, 그리고 실제 이미지에서 GAN 역전 및 프로젝션 기반 조건화로 해석 가능한 속성 분리 및 제어 가능한 편집을 입증합니다.

ABSTRACT

Despite the recent advance of Generative Adversarial Networks (GANs) in high-fidelity image synthesis, there lacks enough understanding of how GANs are able to map a latent code sampled from a random distribution to a photo-realistic image. Previous work assumes the latent space learned by GANs follows a distributed representation but observes the vector arithmetic phenomenon. In this work, we propose a novel framework, called InterFaceGAN, for semantic face editing by interpreting the latent semantics learned by GANs. In this framework, we conduct a detailed study on how different semantics are encoded in the latent space of GANs for face synthesis. We find that the latent code of well-trained generative models actually learns a disentangled representation after linear transformations. We explore the disentanglement between various semantics and manage to decouple some entangled semantics with subspace projection, leading to more precise control of facial attributes. Besides manipulating gender, age, expression, and the presence of eyeglasses, we can even vary the face pose as well as fix the artifacts accidentally generated by GAN models. The proposed method is further applied to achieve real image manipulation when combined with GAN inversion methods or some encoder-involved models. Extensive results suggest that learning to synthesize faces spontaneously brings a disentangled and controllable facial attribute representation.

연구 동기 및 목표

• GAN 잠재 공간에 인코딩된 의미론적 속성을 식별하여 얼굴 합성에 활용한다.
• 잠재 공간의 선형 초평면이 이진 속성(자세, 미소, 나이, 성별, 안경)을 분리한다는 것을 보여준다.
• 선형 변환 후 속성 표현이 분리되어 혼합을 최소화하며 조작 가능하다는 것을 보여준다.
• 재학습 없이 고정 GAN 모델에서의 정밀한 속성 편집을 가능하게 하고, 역전을 통한 실제 이미지 편집도 포함한다.
• 속성 간 상관 관계를 제거하고 생성 얼굴의 왜곡을 보정하기 위한 조건부 조작으로 접근 방식을 확장한다.

제안 방법

• 이미지의 의미 점수를 잠재 코드의 선형 함수로 모델링한다: s = f(g(z)) ≈ λ n^T z, 이는 법선 벡터 n을 갖는 초평면을 나타낸다.
• 이진 속성(자세, 미소, 나이, 성별, 안경)에 대해 잠재 공간에서 선형 SVM 경계를 학습하여 속성 초평면을 식별한다.
• 단일 속성을 조작하기 위해 잠재 코드 편집 z_edit = z + α n을 사용하며, α는 의미 변화의 강도를 제어한다.
• 투영을 통한 속성 방향 직교화를 통해 조건부 조작을 적용하여 속성 간 분리를 달성한다: n1 -> n1 - (n1^T n2) n2
• GAN 역전을 통해 실제 이미지 편집으로 확장한다(최적화 기반 또는 인코더 기반으로 실제 이미지를 편집 전 잠재 코드로 맵핑).
• PGGAN과 StyleGAN의 잠재 공간을 비교하고 StyleGAN의 Z 공간과 W 공간을 분석하며, 잠재 공간에서의 투영 기반 분리도 활용한다.

실험 결과

연구 질문

• RQ1 GAN 잠재 공간에서 이진 얼굴 속성을 선형 초평면으로 분리할 수 있는가?
• RQ2 선형 잠재 부분공간이 서로 다른 의미론적 속성과 대응하며 독립적으로 조작될 수 있는가?
• RQ3 조건부 투영을 통해 속성 간 상관을 제거하고 다중 속성 편집 시 의도치 않은 변화 없이 가능하게 할 수 있는가?
• RQ4 GAN 역전 또는 인코더 기반 모델을 통해 이러한 의미가 실제 이미지로 얼마나 잘 전달되는가?
• RQ5 PGGAN과 StyleGAN의 잠재 공간에서 해석 가능성과 편집 가능성에 어떤 차이가 나타나는가?

주요 결과

• 잠재 공간의 선형 초평면이 속성을 구분하며 검증 정확도가 높다(자세 100.0%, 미소 96.9%, 나이 97.9%, 성별 98.7%, 안경 95.6%; 모든 속성에 대해 자세의 경우 모든 데이터에서 90.3%, 미소 78.5%, 나이 75.3%, 성별 84.2%, 안경 80.1%로 나타남).
• GAN에 인코딩된 의미는 해당 잠재 방향으로 움직임으로써 조작할 수 있으며, 이는 성별, 나이, 표정, 안경, 자세 및 아티팩트 보정의 변화를 가능하게 한다.
• 속성 간 상관 정도는 다양하게 나타나며, 투영을 통한 조건부 조작은 다른 속성의 의도치 않은 변화(예: 나이 대 성별, 안경 대 나이)를 감소시킨다.
• StyleGAN의 W-공간은 Z-공간보다 더 강한 분리를 보이며 긴 거리의 속성 편집에 도움이 되는 반면, Z-공간은 분리화를 위한 조건부 투영의 이점을 얻는다.
• 실제 이미지 편집이 가능하다: 실제 얼굴을 잠재 코드로 역전시키고 InterFaceGAN 방향을 적용하여 편집하며, StyleGAN 역전이 특히 강력한 결과를 보인다.
• 생성 이미지의 아티팩트는 잠재 코드를 '품질' 방향으로 이동시킴으로써 부분적으로 보정될 수 있다.