[论文解读] Learning Flat Latent Manifolds with VAEs

Nutan Chen, Alexej Klushyn+3 more|arXiv (Cornell University)|Feb 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 4

一句话总结

本文提出平面流形变分自编码器（FM-VAEs），通过将潜在空间正则化为具有缩放单位度量张量的黎曼流形，使欧氏距离成为数据相似性的有效代理。通过结合分层先验与黎曼度量正则化，该模型实现了无监督相似性学习，在视频跟踪任务中达到与有监督最先进方法相当的性能，ID切换极少，且通过k-d树实现高效推理。

ABSTRACT

Measuring the similarity between data points often requires domain knowledge, which can in parts be compensated by relying on unsupervised methods such as latent-variable models, where similarity/distance is estimated in a more compact latent space. Prevalent is the use of the Euclidean metric, which has the drawback of ignoring information about similarity of data stored in the decoder, as captured by the framework of Riemannian geometry. We propose an extension to the framework of variational auto-encoders allows learning flat latent manifolds, where the Euclidean metric is a proxy for the similarity between data points. This is achieved by defining the latent space as a Riemannian manifold and by regularising the metric tensor to be a scaled identity matrix. Additionally, we replace the compact prior typically used in variational auto-encoders with a recently presented, more expressive hierarchical one---and formulate the learning problem as a constrained optimisation problem. We evaluate our method on a range of data-sets, including a video-tracking benchmark, where the performance of our unsupervised approach nears that of state-of-the-art supervised approaches, while retaining the computational efficiency of straight-line-based approaches.

研究动机与目标

• 为解决标准VAE的局限性，即紧凑的潜在空间因忽略局部数据变化而扭曲相似性估计。
• 使潜在空间中的欧氏距离成为数据相似性的有意义代理，即使数据流形具有非欧几里得性质。
• 通过用更具表现力的分层先验替代标准正态先验，改进无监督表征学习。
• 通过强制潜在空间具有平坦的准欧几里得几何结构，确保相似性搜索的计算效率。
• 在无需标注数据的情况下，实现实时应用（如多目标跟踪）中接近有监督方法的性能。

提出的方法

• 潜在空间被建模为黎曼流形，其度量张量被正则化为缩放单位矩阵，以强制实现平坦性。
• 采用分层先验，其中全局先验为标准正态分布，局部先验通过神经网络学习，以提升表征表达能力。
• 通过约束优化问题进行模型训练，即在强制满足黎曼度量约束的前提下最大化ELBO。
• 对解码器的雅可比矩阵进行正则化，以保持度量张量恒定，确保潜在空间保持平坦。
• 由于潜在空间具有准欧几里得结构，支持使用k-d树进行高效相似性搜索。
• 该方法在图像和视频数据集上进行了评估，包括用于多目标跟踪的MOT16基准。

实验结果

研究问题

• RQ1 能否训练VAE以学习平面潜在流形，使潜在空间中的欧氏距离准确反映数据相似性？
• RQ2 用分层先验替代标准正态先验是否能提升无监督相似性学习中潜在表征的表达能力？
• RQ3 黎曼度量正则化能否在无需标注数据的情况下，实现计算高效且准确的相似性度量？
• RQ4 所提出的无监督方法在实时跟踪中的性能与有监督最先进方法相比如何？
• RQ5 与标准VAE和基线跟踪器相比，平面流形约束在多目标跟踪中在多大程度上减少了ID切换？

主要发现

• 所提出的VHP-FMVAE-SORT方法相比基线SORT将ID切换减少了2.48倍，接近有监督DeepSORT的性能。
• VHP-FMVAE-SORT在MOT16数据集上实现了59.7的MOTA和59.7的MOTAL，接近有监督DeepSORT的60.8 MOTA。
• 该模型比有监督DeepSORT额外减少了2.2%的ID切换，表明其具有强大的无监督泛化能力。
• 平面潜在流形支持基于k-d树的高效最近邻搜索，适用于实时应用。
• 该方法优于无度量正则化的VHP-VAE-SORT，表明平坦性约束的重要性。
• 在视觉示例中，VHP-FMVAE-SORT能正确重新识别被遮挡的轨迹，而其他方法失败，表明其对遮挡和重叠具有鲁棒性。