[论文解读] Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders

Émile Mathieu, Charline Le Lan+3 more|arXiv (Cornell University)|Jan 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 49

一句话总结

tldr: 本文提出一个具有 Poincaré ball (hyperbolic) 潜在空间的 VAE，推导出两种 Gaussian 泛化（Riemannian normal 和 wrapped normal）、一个几何感知解码器，并在相对于 Euclidean VAEs 的泛化能力和层次表示恢复方面显示出改进。

ABSTRACT

The variational auto-encoder (VAE) is a popular method for learning a generative model and embeddings of the data. Many real datasets are hierarchically structured. However, traditional VAEs map data in a Euclidean latent space which cannot efficiently embed tree-like structures. Hyperbolic spaces with negative curvature can. We therefore endow VAEs with a Poincaré ball model of hyperbolic geometry as a latent space and rigorously derive the necessary methods to work with two main Gaussian generalisations on that space. We empirically show better generalisation to unseen data than the Euclidean counterpart, and can qualitatively and quantitatively better recover hierarchical structures.

研究动机与目标

• 通过将数据嵌入到 hyperbolic 空间而非 Euclidean 空间来激发对分层表示的学习。
• 开发一个在 Poincaré ball 潜在空间上的变分自编码器框架。
• 推导并实现 Poincaré ball 上用于先验和后验的两种 Gaussian 泛化。
• 设计一个明确符合 hyperbolic 几何的解码器，以提升重建和潜在表示的可解释性。
• 在合成数据、MNIST 和图数据集上实证展示更好的泛化和可解释的层次结构。

提出的方法

• 采用 Poincaré ball 模型作为 VAE 的潜在空间。
• 在球面上定义两种 Gaussian 泛化：Riemannian normal 和 wrapped normal，附带各自的密度和可重参数化采样方案。
• 使用超曲率先验 p(z) = N_B^d(0, σ0^2) 和变分族 q(z|x) = N_B^d(μ, σ^2)。
• 提出一个解码器架构（gyroplane layer），在输出映射中编码 hyperbolic 几何。
• 通过在 Poincaré ball 上对重参数化蒙特卡洛估计来最大化 Evidence Lower Bound (ELBO) 进行训练。
• 将编码器输出参数化为通过指数映射的 Fréchet 均值，并对后验使用正的失真值。

实验结果

研究问题

• RQ1 相比于 Euclidean VAE，超曲率的 Poincaré 潜在空间是否能更好地捕捉数据中的层次结构？
• RQ2 在 VAEs 的先验/后验建模中，Poincaré ball 上的两种 Gaussian 泛化（Riemannian normal 和 wrapped normal）有何差异？
• RQ3 几何感知解码器是否改善泛化和潜在层次结构的可解释性？
• RQ4 将 Poincaré VAEs 应用于合成的层次结构数据、MNIST 和图数据时，在泛化和下游任务性能上会获得何种经验收益？

主要发现

• Poincaré VAEs 在对未见数据的泛化方面优于 Euclidean VAEs，适用于合成分支数据和 MNIST，尤其在较低潜在维数下。
• Wrapped 与 Riemannian normal 泛化使在 Poincaré ball 上的可重参数化与密度形式具有可处理性，且在某些设置中 Riemannian normal 提供略微的优势。
• 几何感知解码器（gyroplane layer）对利用 hyperbolic 潜在空间至关重要；消融实验显示相对于基线解码器有性能提升。
• 来自 Poincaré VAE 的 MNIST 嵌入在 2D 潜在空间上的数字分类准确性更高，表明层次结构更具判别性。
• Poincaré VAEs 相比 Euclidean VAEs 在图数据集中的链路预测有所提升，说明在分层网络数据上具有更好的泛化。