[논문 리뷰] Improved StyleGAN Embedding: Where are the Good Latents?

Peihao Zhu, Rameen Abdal외 3명|arXiv (Cornell University)|2020. 12. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 59

한 줄 요약

이 논문은 새로운 PN 공간을 사용하여 좋은 StyleGAN 잠재 코드를 찾을 위치를 분석하고, PN+-기반 정규화를 제안하여 역임베딩을 개선하며, 최첨단 방법들과 비교해 재구성-편집 간 트레이드오프를 더 잘 달성한다.

ABSTRACT

StyleGAN is able to produce photorealistic images that are almost indistinguishable from real photos. The reverse problem of finding an embedding for a given image poses a challenge. Embeddings that reconstruct an image well are not always robust to editing operations. In this paper, we address the problem of finding an embedding that both reconstructs images and also supports image editing tasks. First, we introduce a new normalized space to analyze the diversity and the quality of the reconstructed latent codes. This space can help answer the question of where good latent codes are located in latent space. Second, we propose an improved embedding algorithm using a novel regularization method based on our analysis. Finally, we analyze the quality of different embedding algorithms. We compare our results with the current state-of-the-art methods and achieve a better trade-off between reconstruction quality and editing quality.

연구 동기 및 목표

• StyleGAN 공간에서 잠재 코드의 분포와 기하를 이해하여 좋은 잠재 코드가 존재하는 위치를 식별한다.
• 재구성은 유지하고 편집 가능성을 보존하는 정규화된 임베딩 방법을 제안한다.
• 더 나은 역변환을 위해 고용량 W+ 공간으로 분석을 확장한다.
• 이전 방법에 비해 포괄적이고 정량적이며 사용자 주도형 평가를 제공한다.

제안 방법

• PN 공간을 잠재 분포가 보다 등방성에 가깝고 모델링이 쉬운 화된(P_N) 잠재 공간으로 도입한다.
• StyleGAN2/I2S 프레임워크에서 사용되는 W+ (18x512) 잠재 표현에 대해 PN+ 공간으로 확장한다(18개의 w_i 코드를 해제한다).
• 재구성 손실을 희생하지 않으면서 잠재 공간의 고밀도 영역으로 임베딩을 편향시키는 Mahalanobis 거리(d_M)를 이용한 PN+ 공간의 밀도 기반 정규화기를 제안한다.
• PN+ 공간에서 결합 손실 L = LPIPS + L2와 추가 정규화 항 lambda * ||v||^2를 사용하여 임베딩을 학습한다. 이때 v는 PN+-변환 잠재 코드이다.
• 재구성 품질을 위해 LPIPS 지각 손실과 하향 샘플링 전략을 사용한다(생성기 공간에서 바이큐빅, 기준은 Lanczos).
• II2S(제안 방법)를 재구성, 편집(pose, age, lighting), 조건 임베딩 과제에서 다수의 베이스라인(I2S, PULSE, StyleGAN2, StyleGAN2Encoder, pSp)과 비교 평가한다.

실험 결과

연구 질문

• RQ1 StyleGAN 잠재 공간에서 높은 품질의 사용 가능한 잠재 코드가 어디에 위치하는가?
• RQ2 PN/PN+ 공간에서 임베딩을 정규화하면 기존 방법에 비해 재구성이 개선되면서 편집 가능성은 유지되는가?
• RQ3 제안 임베딩은 편집 과제(pose, age, lighting)와 조건 임베딩 과제(colorization, inpainting, super-resolution)에서 어떻게 작동하는가?
• RQ4 정규화 강도 lambda가 인간 평가 및 지각 지표에 따라 재구성과 편집 품질에 미치는 영향은 어느 정도인가?

주요 결과

• PN 공간은 잠재 코드의 품질이 원점으로부터의 거리와 상관관계가 있으며 PN 거리는 Mahalanobis 거리와 대응한다.
• PN+- 기반 정규화기는 잠재 공간의 고밀도 영역으로 임베딩을 편향시켜 편집 가능성을 개선하지만 재구성 손실은 미미하게 유지한다.
• II2S는 재구성 및 편집 품질 간의 우수한 트레이드오프를 여러 지표 및 과제에서 최첨단 베이스라인 대비 달성한다.
• 사용자 연구 결과 II2S가 편집 과제 및 여러 조건 임베딩 과제에서 경쟁 방법들보다 우수한 편으로 나타났으며, 재구성만 보면 때로는 I2S가 더 낫다.
• 조건부 임베딩 과제(colorization, inpainting, super-resolution)에서 II2S가 대개 경쟁자보다 우수한 성능을 보이나, 특정 과제에서는 지표에 따라 Ground Truth나 다른 베이스라인이 더 낫다고 나타난다.