[论文解读] Latent Space Oddity: on the Curvature of Deep Generative Models

Georgios Arvanitidis, Lars Kai Hansen+1 more|arXiv (Cornell University)|Oct 31, 2017

Generative Adversarial Networks and Image Synthesis被引用 25

一句话总结

本文通过将潜在空间建模为由生成器的雅可比矩阵诱导的随机黎曼流形，提出了一种深度生成模型的几何框架。通过利用生成器局部曲率导出的黎曼度量重新定义距离和插值方法，该方法在聚类、采样和插值方面均有所改进，同时揭示了标准VAE提供的方差估计较差——为此引入了一种新型方差网络架构，显著提升了不确定性量化效果。

ABSTRACT

Deep generative models provide a systematic way to learn nonlinear data distributions, through a set of latent variables and a nonlinear "generator" function that maps latent points into the input space. The nonlinearity of the generator imply that the latent space gives a distorted view of the input space. Under mild conditions, we show that this distortion can be characterized by a stochastic Riemannian metric, and demonstrate that distances and interpolants are significantly improved under this metric. This in turn improves probability distributions, sampling algorithms and clustering in the latent space. Our geometric analysis further reveals that current generators provide poor variance estimates and we propose a new generator architecture with vastly improved variance estimates. Results are demonstrated on convolutional and fully connected variational autoencoders, but the formalism easily generalize to other deep generative models.

研究动机与目标

• 解决深度生成模型中潜在空间距离的误解问题，其中欧氏距离无法反映真实数据流形结构。
• 通过从生成器的雅可比矩阵推导度量，将潜在空间形式化为随机黎曼流形。
• 证明标准VAE因对曲率的线性近似而提供误导性的方差估计。
• 提出一种带有专用方差网络的新生成器架构，以获得更准确的不确定性估计。
• 展示基于黎曼距离和插值方法的聚类效果更优，生成更平滑，随机游走更稳定，且在数据流形上保持更久。

提出的方法

• 从生成器的雅可比矩阵推导潜在空间中的随机黎曼度量，使用局部度量张量 $ \mathbf{J}_\mathbf{z}^\intercal \mathbf{J}_\mathbf{z} $。
• 利用黎曼度量计算长度最小化曲线（测地线），而非潜在空间中的直线插值。
• 基于黎曼距离重新表述潜在概率分布和采样算法，使其更符合数据流形结构。
• 在生成器中引入一种新型方差网络，通过 $ \boldsymbol{\sigma}_\theta(\mathbf{z}) $ 显式建模局部畸变，从而提升不确定性估计。
• 将黎曼度量应用于 $ k $-均值聚类和混合模型，表明其与真实类别结构的对齐效果更优。
• 在潜在空间中应用几何启发的随机游走，结果表明其在数据流形上持续时间显著长于欧氏随机游走。

实验结果

研究问题

• RQ1 由生成器非线性所诱导的潜在空间曲率，如何影响对距离和插值的解释？
• RQ2 为何标准VAE产生较差的方差估计？如何利用几何原理加以纠正？
• RQ3 能否通过从生成器雅可比矩阵导出的黎曼度量，改善潜在空间中的聚类与采样？
• RQ4 与线性插值相比，测地线插值在视觉质量和流形贴合度方面表现如何？
• RQ5 几何启发的随机游走是否能比标准欧氏随机游走更长时间地停留在数据流形上？

主要发现

• 潜在空间并非平坦的欧氏空间，而是一个由生成器雅可比矩阵导出的曲率黎曼流形，其距离与插值应基于该度量进行测量。
• 基于黎曼的 $ k $-均值聚类与真实类别标签的对齐程度显著优于基于欧氏的聚类，证明了结构发现能力的提升。
• 与直线插值相比，测地线插值得到的生成结果更平滑、更真实，MNIST和合成数据的可视化结果已证实此点。
• 所提出的方差网络架构在不确定性估计方面显著优于标准VAE，其结果经由黎曼度量对局部畸变的敏感性验证。
• 几何启发的随机游走相比标准欧氏随机游走，能更长时间地停留在数据流形上，表明其对流形的保持能力更强。
• 新提出的黎曼度量使概率分布和采样算法更精确，在聚类和生成等下游任务中表现更优。