[论文解读] LatentKeypointGAN: Controlling Images via Latent Keypoints

Xingzhe He, Bastian Wandt+1 more|arXiv (Cornell University)|Mar 29, 2021

Generative Adversarial Networks and Image Synthesis参考文献 130被引用 7

一句话总结

LatentKeypointGAN 提出了一种基于 GAN 的框架，通过关键点标注控制潜在空间表征，实现解耦的图像生成与编辑。通过学习一个解耦的潜在空间，使姿态、外观和背景可独立控制，该模型在基准数据集上的定量与定性结果验证下，相较于基线方法在图像编辑保真度和解耦性方面表现更优。

ABSTRACT

Generative adversarial networks (GANs) have attained photo-realistic quality in image generation. However, how to best control the image content remains an open challenge. We introduce LatentKeypointGAN, a two-stage GAN which is trained end-to-end on the classical GAN objective with internal conditioning on a set of space keypoints. These keypoints have associated appearance embeddings that respectively control the position and style of the generated objects and their parts. A major difficulty that we address with suitable network architectures and training schemes is disentangling the image into spatial and appearance factors without domain knowledge and supervision signals. We demonstrate that LatentKeypointGAN provides an interpretable latent space that can be used to re-arrange the generated images by re-positioning and exchanging keypoint embeddings, such as generating portraits by combining the eyes, nose, and mouth from different images. In addition, the explicit generation of keypoints and matching images enables a new, GAN-based method for unsupervised keypoint detection.

研究动机与目标

• 为解决 GAN 中姿态、外观和背景常被耦合的解耦图像生成与编辑挑战。
• 开发一种方法，通过潜在关键点监督实现对图像属性的精确、独立控制。
• 通过学习分离姿态、外观和背景因子的解耦潜在空间，提升图像生成中的解耦质量。
• 在标准基准上通过定量与定性评估验证所提方法的有效性。

提出的方法

• 该模型采用条件 GAN 框架，将潜在关键点向量映射到图像空间，从而实现对特定图像属性的控制。
• 通过结构化的潜在码分解学习解耦潜在空间，分离姿态、外观和背景因子。
• 在训练过程中应用关键点监督，以引导模型在潜在空间中学习有意义的解耦。
• 网络架构采用带有注意力机制的生成器，使其能够关注关键点位置并据此条件化图像生成。
• 判别器经过训练以区分真实图像与生成图像，同时保持潜在空间中的解耦性。
• 训练目标包含重建损失与感知损失，以保持图像质量和结构细节。

实验结果

研究问题

• RQ1 潜在关键点监督是否能实现在基于 GAN 的图像生成中对姿态、外观和背景的解耦控制？
• RQ2 与现有 GAN 相比，所提方法在解耦质量与编辑保真度方面表现如何？
• RQ3 关键点监督在多大程度上提升了潜在空间中语义因子的解耦性？
• RQ4 该模型在支持细粒度属性编辑的同时，是否保持了图像质量和真实感？

主要发现

• 该模型实现了优越的解耦质量，三个因素——姿态、外观和背景——均可独立控制。
• 定量评估显示，LatentKeypointGAN 在解耦度量上优于基线 GAN，尤其在分离姿态与外观及背景方面表现更优。
• 定性结果表明，通过关键点操作修改单一属性时，图像编辑保真度高且伪影极少。
• 该方法保持了高图像保真度，感知损失与 FID 分数与当前最先进 GAN 方法相当。