[论文解读] Improved StyleGAN Embedding: Where are the Good Latents?

Peihao Zhu, Rameen Abdal+3 more|arXiv (Cornell University)|Dec 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 59

一句话总结

本文分析了良好 StyleGAN 潜在向量所在的位置，提出一个基于 PN 空间的 PN+-正则化，以改进倒嵌入，并在重建-编辑权衡方面相较于最先进方法获得更好的效果。

ABSTRACT

StyleGAN is able to produce photorealistic images that are almost indistinguishable from real photos. The reverse problem of finding an embedding for a given image poses a challenge. Embeddings that reconstruct an image well are not always robust to editing operations. In this paper, we address the problem of finding an embedding that both reconstructs images and also supports image editing tasks. First, we introduce a new normalized space to analyze the diversity and the quality of the reconstructed latent codes. This space can help answer the question of where good latent codes are located in latent space. Second, we propose an improved embedding algorithm using a novel regularization method based on our analysis. Finally, we analyze the quality of different embedding algorithms. We compare our results with the current state-of-the-art methods and achieve a better trade-off between reconstruction quality and editing quality.

研究动机与目标

• 理解 StyleGAN 空间中潜在编码的分布与几何结构，以确定良好潜在向量的位置。
• 提出一种正则化嵌入方法，在提升重建的同时保持可编辑性。
• 将分析扩展到高容量的 W+ 空间，以实现更好的反演。
• 提供全面、定量且以用户为导向的评估，与现有方法进行对比。

提出的方法

• 引入 PN 空间，作为一个白化的 (P_N) 潜在空间，其中潜在分布更具各向同性且更易建模。
• 扩展到 PN+ 空间，用于 StyleGAN2/I2S 框架所使用的 W+ (18x512) 潜在表示（展开 18 个 w_i 编码）。
• 提出在 PN+ 空间中基于密度的正则项，使用马氏距离 (d_M) 将嵌入偏置到高密度区域，同时不牺牲重建。
• 使用组合损失 L = LPIPS + L2 + 额外正则项 lambda * ||v||^2，在 PN+ 空间训练嵌入，其中 v 是 PN+-变换后的潜在编码。
• 使用 LPIPS 感知损失和下采样策略（在生成器空间采用双三次，参考采用 Lanczos）以提升重建质量。
• 对 II2S（提出的方法）在重建、编辑（姿态、年龄、光照）以及条件嵌入任务上，与多种基线方法（I2S、PULSE、StyleGAN2、StyleGAN2Encoder、pSp）进行评估。

实验结果

研究问题

• RQ1 StyleGAN 潜在空间中高质量、可用的潜在编码位于何处？
• RQ2 在 PN/PN+ 空间对嵌入进行正则化是否能在保持可编辑性的同时实现比现有方法更好的重建？
• RQ3 所提出的嵌入在编辑任务（姿态、年龄、光照）以及条件任务（颜色着色、修补、超分辨）上的表现如何？
• RQ4 根据人类评价和感知指标，正则化强度 lambda 对重建与编辑质量的影响是多少？

主要发现

• PN 空间揭示潜在编码的质量与距离原点的距离相关，且 PN 距离对应马氏距离。
• 基于 PN+ 的正则项将嵌入偏向潜在空间的高密度区域，在重建损失可忽略的情况下提升可编辑性。
• II2S 在多项指标和任务上，与最先进基线相比，在重建与编辑质量之间实现了有利的权衡。
• 用户研究显示 II2S 相较于竞争方法在编辑任务及若干条件嵌入任务上更受青睐，单就重建而言 I2S 有时表现更好。
• 在条件嵌入任务（彩色化、修补、超分辨）中，II2S 常常优于竞争对手；某些任务仍然更倾向于真值或其他基线，取决于所采用的指标。