[论文解读] Geometry-Aware Hamiltonian Variational Auto-Encoder

Clément Chadebec, Clément Mantoux+1 more|arXiv (Cornell University)|Oct 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 6

一句话总结

本文提出了一种几何感知的哈密顿变分自编码器（RHVAE），将潜在空间建模为具有动态学习度量的黎曼流形，从而在小样本数据集上提升了生成性能和有意义的插值效果。通过将哈密顿动力学与度量感知的潜在空间几何结构相结合，该模型实现了更清晰的生成结果、更平滑的测地线插值以及相较于标准变分自编码器（VAE）更优的聚类性能。

ABSTRACT

Variational auto-encoders (VAEs) have proven to be a well suited tool for performing dimensionality reduction by extracting latent variables lying in a potentially much smaller dimensional space than the data. Their ability to capture meaningful information from the data can be easily apprehended when considering their capability to generate new realistic samples or perform potentially meaningful interpolations in a much smaller space. However, such generative models may perform poorly when trained on small data sets which are abundant in many real-life fields such as medicine. This may, among others, come from the lack of structure of the latent space, the geometry of which is often under-considered. We thus propose in this paper to see the latent space as a Riemannian manifold endowed with a parametrized metric learned at the same time as the encoder and decoder networks. This metric is then used in what we called the Riemannian Hamiltonian VAE which extends the Hamiltonian VAE introduced by arXiv:1805.11328 to better exploit the underlying geometry of the latent space. We argue that such latent space modelling provides useful information about its underlying structure leading to far more meaningful interpolations, more realistic data-generation and more reliable clustering.

研究动机与目标

• 解决标准变分自编码器在小样本数据集上因潜在空间无结构而导致的性能不佳问题。
• 通过显式建模潜在空间几何结构，提升数据生成与插值质量。
• 通过在潜在空间中学习黎曼度量，提升聚类的可靠性与样本的真实性。
• 将哈密顿变分自编码器框架扩展以整合度量学习，实现更优的后验近似。
• 在隐私敏感领域（如医学影像）中，实现小样本下的可靠合成数据生成。

提出的方法

• 将潜在空间建模为具有参数化度量的黎曼流形，并与编码器和解码器网络联合学习该度量。
• 将哈密顿蒙特卡洛动力学整合到变分自编码器框架中，以提升后验近似与采样效率。
• 利用归一化流建模潜在空间中的复杂后验分布，增强模型表达能力。
• 通过神经网络参数化黎曼度量张量，学习度量以引入几何归纳偏置。
• 使用随机梯度下降优化证据下界（ELBO），并引入几何感知的先验与似然函数。
• 在学习到的黎曼流形上应用测地线插值，以生成更平滑、更具语义意义的数据点过渡。

实验结果

研究问题

• RQ1 在潜在空间中学习黎曼度量是否能提升小样本数据集上的生成性能？
• RQ2 是否度量感知的潜在空间建模能带来更合理、更平滑的数据点间插值？
• RQ3 与标准VAE和哈密顿VAE相比，所提出的RHVAE在样本质量与聚类性能方面表现如何？
• RQ4 在真实世界的小样本数据集（如MNIST、FashionMNIST和OASIS）上，几何感知建模在多大程度上提升了数据生成与重建性能？
• RQ5 所学习的黎曼结构是否能通过保留数据流形的内在结构来改善聚类效果？

主要发现

• 与标准VAE相比，RHVAE在小样本数据集上生成的样本更清晰、更逼真，尤其在训练样本有限时表现更优。
• 在学习到的黎曼潜在空间中，测地线插值产生的数据点过渡比仿射插值更平滑、更连贯。
• 在仅含160个样本的FashionMNIST数据集上，RHVAE在插值样本中显著提升了视觉质量，避免了标准VAE中常见的模糊现象。
• 该模型在仿射与测地线度量下均表现出更优的聚类性能，其中测地线聚类展现出更高的稳定性和结构保持性。
• 在Olivetti人脸数据集上，测地线插值保持了更一致的面部朝向，并减少了仿射插值中常见的伪影。
• 所学习的黎曼度量有效捕捉了数据流形的内在几何结构，这一点通过体积元可视化与插值质量得到了验证。