[论文解读] Inspirational Adversarial Image Generation

Morgane Rivière, Olivier Teytaud+3 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 7

一句话总结

本文提出了一种基于优化的新方法，利用用户提供的灵感图像作为指导，在生成对抗网络（GAN）的潜在空间中生成高质量、可定制的图像。通过基于人类偏好的梯度或无梯度优化迭代优化潜在码，该方法实现了在多种数据集上高分辨率输出的鲁棒人脸合成与时尚图像生成。

ABSTRACT

The task of image generation started to receive some attention from artists and designers to inspire them in new creations. However, exploiting the results of deep generative models such as Generative Adversarial Networks can be long and tedious given the lack of existing tools. In this work, we propose a simple strategy to inspire creators with new generations learned from a dataset of their choice, while providing some control on them. We design a simple optimization method to find the optimal latent parameters corresponding to the closest generation to any input inspirational image. Specifically, we allow the generation given an inspirational image of the user choice by performing several optimization steps to recover optimal parameters from the model's latent space. We tested several exploration methods starting with classic gradient descents to gradient-free optimizers. Many gradient-free optimizers just need comparisons (better/worse than another image), so that they can even be used without numerical criterion, without inspirational image, but with only with human preference. Thus, by iterating on one's preferences we could make robust Facial Composite or Fashion Generation algorithms. High resolution of the produced design generations are obtained using progressive growing of GANs. Our results on four datasets of faces, fashion images, and textures show that satisfactory images are effectively retrieved in most cases.

研究动机与目标

• 为解决使用生成对抗网络（GAN）等深度生成模型进行图像生成时繁琐且耗时的挑战，提出一种用户引导的优化策略。
• 使创作者能够基于其自选的参考图像生成图像，而无需进行大量手动调优。
• 开发一种即使在无数值损失函数的情况下也能有效工作的优化方法，完全依赖人类偏好比较。
• 通过渐进式生长生成对抗网络（PG-GAN）实现高分辨率图像生成，以提升视觉质量。
• 评估从梯度下降到无梯度方法等多种优化策略在多样化图像生成任务中的有效性。

提出的方法

• 该方法在预训练的生成对抗网络（GAN）的潜在空间中优化潜在码，以生成在感知上最接近用户提供的灵感图像的图像。
• 通过使用学习到的特征空间，采用迭代优化步骤最小化生成图像与灵感输入之间的感知距离。
• 通过基于人类偏好的图像对比较（优/劣），应用无梯度优化器，从而无需数值损失函数。
• 采用渐进式生长生成对抗网络（PG-GAN）生成高分辨率图像，确保输出细节丰富且逼真。
• 优化过程从随机潜在向量初始化，并通过多轮迭代逐步优化，由用户反馈或感知相似性引导。
• 评估了多种探索策略——从标准梯度下降到基于比较的优化器——以检验其鲁棒性与性能。

实验结果

研究问题

• RQ1 基于用户提供的灵感图像引导的潜在空间优化，是否能在生成对抗网络（GAN）中成功生成高质量、可定制的图像？
• RQ2 仅依赖人类偏好比较的无梯度优化方法，在生成所需图像方面效果如何？
• RQ3 该方法在支持多样化图像生成任务（如人脸合成与时尚设计）方面的能力有多大？
• RQ4 在该框架中，使用渐进式生长生成对抗网络（PG-GAN）对生成图像的分辨率与真实感有何影响？
• RQ5 在收敛速度与视觉质量方面，基于梯度的优化策略与无梯度优化策略相比表现如何？

主要发现

• 在四个多样化数据集（人脸、时尚、纹理）中，该方法在大多数情况下均成功生成了令人满意的结果。
• 仅依赖人类偏好比较的无梯度优化器在无数值损失函数的情况下仍能有效生成所需图像。
• 通过集成渐进式生长生成对抗网络（PG-GAN），实现了高分辨率图像生成，输出结果细节丰富且逼真。
• 优化过程在不同探索方法（包括梯度下降与基于比较的优化器）下均表现出鲁棒性。
• 仅使用感知相似性或偏好反馈即可实现用户引导的图像生成，且该方法在实际创意应用中可行且有效。