[论文解读] Do Not Escape From the Manifold: Discovering the Local Coordinates on the Latent Space of GANs

Jaewoong Choi, Jun-Ho Lee+4 more|arXiv (Cornell University)|Jun 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 9

一句话总结

本文提出 Local Basis，一种无监督方法，通过分析 $ω$-流形的切空间来揭示 GAN 隐空间中语义解耦的遍历方向。研究表明，StyleGAN2 中的 $ω$-空间存在全局扭曲，解释了全局方法成功有限的原因，并通过局部遍历和 Grassmann 流形度量分析展示了更优的稳定性和解耦性。

ABSTRACT

The discovery of the disentanglement properties of the latent space in GANs motivated a lot of research to find the semantically meaningful directions on it. In this paper, we suggest that the disentanglement property is closely related to the geometry of the latent space. In this regard, we propose an unsupervised method for finding the semantic-factorizing directions on the intermediate latent space of GANs based on the local geometry. Intuitively, our proposed method, called Local Basis, finds the principal variation of the latent space in the neighborhood of the base latent variable. Experimental results show that the local principal variation corresponds to the semantic factorization and traversing along it provides strong robustness to image traversal. Moreover, we suggest an explanation for the limited success in finding the global traversal directions in the latent space, especially W-space of StyleGAN2. We show that W-space is warped globally by comparing the local geometry, discovered from Local Basis, through the metric on Grassmannian Manifold. The global warpage implies that the latent space is not well-aligned globally and therefore the global traversal directions are bound to show limited success on it.

研究动机与目标

• 解决在 GAN 隐空间中寻找稳健且语义有意义的遍历方向的挑战，特别是在全局方法失效的情况下。
• 探究 GAN 隐空间的解耦特性是否本质上与其几何结构相关。
• 开发一种无监督方法，基于隐空间流形的内在几何结构识别局部、稳定的遍历方向。
• 利用局部信息评估 StyleGAN2 中 $ω$-空间的全局几何结构，并提出一种全局解耦度量。
• 通过量化隐空间中的全局扭曲，解释 GANSpace 和 SeFa 等全局方法表现有限的原因。

提出的方法

• Local Basis 定义为在隐码 $\mathbf{w}$ 处的切空间 $T_{\mathbf{w}}\mathcal{W}$ 的有序正交基，表示隐空间流形的局部主变异性。
• 该方法计算生成器网络的雅可比矩阵的奇异向量，从而为局部基提供闭式解。
• 利用 Grassmann 流形度量比较不同隐码处的局部基，实现对几何一致性与扭曲程度的量化。
• 迭代曲线遍历方法利用 Local Basis 沿隐空间流形追踪曲线路径，相比线性插值，显著提升了图像遍历的稳定性。
• 通过在 Grassmann 流形上使用投影和测地线度量，比较邻近与远处隐码的局部基，评估全局解耦性。

实验结果

研究问题

• RQ1 GAN 隐空间中的语义解耦是否本质上与流形的底层几何结构相关？
• RQ2 为何尽管在局部区域表现良好，全局遍历方法如 GANSpace 和 SeFa 的整体表现仍有限？
• RQ3 局部几何分析能否揭示比全局方法更稳定且语义更清晰的遍历方向？
• RQ4 StyleGAN2 的 $ω$-空间在多大程度上存在全局扭曲？这种扭曲如何影响全局基方法的性能？
• RQ5 基于局部基的迭代曲线遍历能否产生比线性插值更稳定的图像变换？

主要发现

• Grassmann 度量显示，来自邻近隐码（$|\mathbf{z}' - \mathbf{z}| = 0.1$）的 Local Basis 显著比来自随机隐码的更一致，表明局部几何具有稳定性。
• 随机 $\mathbf{w}$ 与随机 $O(d_{\mathcal{W}})$ 之间的度量远大于邻近 $\mathbf{w}$ 之间的度量，证明 $\mathcal{W}$-空间存在全局扭曲。
• Local Basis 在图像遍历的稳定性和语义一致性方面优于 GANSpace 和 SeFa 等全局方法，尤其在图像质量和语义一致性方面表现更优。
• 基于 Local Basis 的迭代曲线遍历方法生成的图像序列比线性遍历更平滑、更连贯，展现出更高的鲁棒性。
• GANSpace 和 SeFa 的全局基与局部几何仅部分对齐，表现为相对于邻近 $\mathbf{w}$ 的度量分数较高，表明全局解耦不完整。
• 分析证实，全局方法表现有限的根本原因在于 $\mathcal{W}$-空间的全局扭曲，该扭曲破坏了隐空间中语义方向的一致性。