[论文解读] Metrics for Deep Generative Models

Nutan Chen, Alexej Klushyn+4 more|arXiv (Cornell University)|Nov 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 35

一句话总结

本文提出了一种基于黎曼度量的距离度量方法，用于深度生成模型，该方法考虑了数据流形的非线性几何结构，使用潜在空间中的测地线路径替代欧氏距离。通过将潜在空间建模为黎曼流形，并利用度量张量最小化路径长度，该方法实现了比标准欧氏距离或线性插值更平滑、更自然的插值效果，尤其在高维、低密度数据区域表现更优。

ABSTRACT

Neural samplers such as variational autoencoders (VAEs) or generative adversarial networks (GANs) approximate distributions by transforming samples from a simple random source---the latent space---to samples from a more complex distribution represented by a dataset. While the manifold hypothesis implies that the density induced by a dataset contains large regions of low density, the training criterions of VAEs and GANs will make the latent space densely covered. Consequently points that are separated by low-density regions in observation space will be pushed together in latent space, making stationary distances poor proxies for similarity. We transfer ideas from Riemannian geometry to this setting, letting the distance between two points be the shortest path on a Riemannian manifold induced by the transformation. The method yields a principled distance measure, provides a tool for visual inspection of deep generative models, and an alternative to linear interpolation in latent space. In addition, it can be applied for robot movement generalization using previously learned skills. The method is evaluated on a synthetic dataset with known ground truth; on a simulated robot arm dataset; on human motion capture data; and on a generative model of handwritten digits.

研究动机与目标

• 解决潜在空间中欧氏距离的局限性，该距离因流形扭曲和似然函数的不连续性而无法准确反映真实数据相似性。
• 克服变分自编码器（VAEs）和生成对抗网络（GANs）在潜在空间中密集覆盖的问题，导致观测空间中高维、低密度区域的坍塌。
• 基于黎曼流形理论，开发一种原理清晰、几何感知的距离度量，以反映数据的内在结构。
• 在机器人运动生成和数据可视化等应用中，实现在潜在空间中更平滑、更自然的插值。
• 在包括合成数据、机械臂数据和人体运动捕捉数据在内的多样化数据集上验证该方法，证明其路径质量更高、失真更低。

提出的方法

• 利用生成模型的雅可比矩阵导出的度量张量，将深度生成模型的潜在空间建模为黎曼流形。
• 将两点间距离定义为流形上最短测地线路径的长度，通过最小化曲线长度积分计算得出。
• 采用重要性加权自编码器（IWAE）进行潜在变量模型的鲁棒推理与训练，确保后验近似准确。
• 对度量张量应用奇异值分解（SVD），以正则化并提升测地线计算的数值稳定性。
• 通过求解两点潜在码之间最短路径的两点边值问题，实现测地线插值，替代线性插值。
• 使用度量因子（MF）可视化度量，量化潜在空间中的局部面积失真，辅助模型解释。

实验结果

研究问题

• RQ1 如何在深度生成模型的潜在空间中定义更具意义的数据点间距离，以反映其在观测空间中的真实相似性？
• RQ2 黎曼测地线插值在生成平滑、自然的运动序列方面，相较于线性或欧氏插值，优势有多大？
• RQ3 该黎曼度量能否有效捕捉并可视化潜在空间中的局部失真，特别是在低密度数据区域？
• RQ4 该方法在机器人技能学习任务中，如何改善路径规划与运动泛化？
• RQ5 该方法在复杂高维数据（如人体运动捕捉序列）中是否能保持结构与运动学的一致性？

主要发现

• 在机械臂运动中，潜在空间的测地线插值路径长度显著短于欧氏插值（0.54 vs. 1.48），生成了更平滑、更自然的末端执行器轨迹。
• 在人体运动数据上，测地线路径距离（2.57）低于欧氏路径距离（2.89），重建结果表现出一致、自然的行走动作，无突兀跳跃。
• 度量因子（MF）可视化显示，低密度数据区域存在显著失真，验证了流形假设，并揭示了欧氏距离在这些区域的失效。
• 测地线插值避开了导致欧氏插值产生大而不自然运动的高MF区域，尤其在人体运动数据集中表现明显。
• 该方法成功在150个时间步内生成完整的圆形行走运动，而欧氏插值则产生抖动、不一致的运动。
• 该方法在高维数据（如全肢体人形运动）中表现良好，无需显式任务空间约束即可实现泛化。