[论文解读] GAN "Steerability" without optimization

Nurit Spingarn-Eliezer, Ron Banner+1 more|arXiv (Cornell University)|Dec 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 11

一句话总结

本文提出一种闭式方法，可直接从生成器权重计算 GAN 的可操控性轨迹，无需优化。该方法实现了对几何和语义变换的精确控制，包括不同效果之间的权衡（如缩放与平移）以及自然的轨迹终点，适用于在不同类别间进行无需优化的属性迁移。

ABSTRACT

Recent research has shown remarkable success in revealing "steering" directions in the latent spaces of pre-trained GANs. These directions correspond to semantically meaningful image transformations e.g., shift, zoom, color manipulations), and have similar interpretable effects across all categories that the GAN can generate. Some methods focus on user-specified transformations, while others discover transformations in an unsupervised manner. However, all existing techniques rely on an optimization procedure to expose those directions, and offer no control over the degree of allowed interaction between different transformations. In this paper, we show that "steering" trajectories can be computed in closed form directly from the generator's weights without any form of training or optimization. This applies to user-prescribed geometric transformations, as well as to unsupervised discovery of more complex effects. Our approach allows determining both linear and nonlinear trajectories, and has many advantages over previous methods. In particular, we can control whether one transformation is allowed to come on the expense of another (e.g. zoom-in with or without allowing translation to keep the object centered). Moreover, we can determine the natural end-point of the trajectory, which corresponds to the largest extent to which a transformation can be applied without incurring degradation. Finally, we show how transferring attributes between images can be achieved without optimization, even across different categories.

研究动机与目标

• 解决现有 GAN 可操控性方法依赖迭代优化以在潜在空间中发现解耦且可解释方向的局限性。
• 实现在无需任何微调或优化步骤的前提下，直接从预训练生成器权重计算可操控性轨迹。
• 明确控制不同变换之间的权衡（例如，缩放与平移），并定义变换范围的自然极限。
• 将该方法扩展至实现无需优化的 GAN 中跨不同图像类别的属性迁移。

提出的方法

• 通过分析生成器网络的权重结构，推导出潜在空间轨迹的闭式表达式。
• 利用生成器的全连接层和卷积层，解析确定潜在向量扰动对图像特征的影响。
• 直接从网络权重构建对应于几何变换（如平移、缩放）的线性和非线性轨迹。
• 引入一种机制以约束变换之间的相互作用，使用户能够指定某一变换是否可能干扰另一变换。
• 将每条轨迹的自然终点定义为图像质量开始退化前的最大变换范围，该终点由生成器的权重几何结构推导得出。
• 通过相同的闭式框架实现跨类别属性迁移，无需优化，即可将某一类别的属性映射到另一类别。

实验结果

研究问题

• RQ1 是否能够通过利用生成器学习到的权重，无需优化即可计算 GAN 可操控性轨迹？
• RQ2 在闭式方法下，对变换相互作用（如缩放与平移）的控制程度能达到何种程度？
• RQ3 是否能够无需迭代探测，通过解析方法确定变换的最大自然范围？
• RQ4 该方法是否能够实现无需优化的跨不同 GAN 生成类别的属性迁移？
• RQ5 与基于优化的方法相比，闭式轨迹在可解释性和可控性方面表现如何？

主要发现

• 所提方法直接从生成器权重以闭式计算可操控性轨迹，完全跳过所有优化过程。
• 该方法允许明确控制缩放与平移等变换之间是否相互干扰，从而实现用户定义的权衡。
• 每条变换轨迹的自然终点通过解析方法确定，对应于图像质量开始退化前的最大变换范围。
• 该方法实现了无需优化的跨不同图像类别的属性迁移，例如可将面部属性从一个身份迁移到另一个身份。
• 闭式轨迹在所有生成类别中保持一致，其语义可解释性与基于优化的方法相当，但效率更高。
• 实验结果表明，该方法在解耦性和可控性方面与基于优化的基线方法相当或更优，且无需额外训练或调参。