[论文解读] Hierarchical Representations with Poincar\'e Variational Auto-Encoders

Émile Mathieu, Charline Le Lan+3 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了庞加莱变分自编码器（P-VAEs），将双曲几何整合到VAE框架中，以更有效地建模层次化数据。通过在庞加莱空间中学习表征，该模型在泛化能力方面表现更优，并在定性上更准确地恢复了层次化结构，优于欧几里得VAE。

ABSTRACT

The Variational Auto-Encoder (VAE) model has become widely popular as a way to learn at once a generative model and embeddings for observations living in a high-dimensional space. In the real world, many such observations may be assumed to be hierarchically structured, such as living organisms data which are related through the evolutionary tree. Also, it has been theoretically and empirically shown that data with hierarchical structure can efficiently be embedded in hyperbolic spaces. We therefore endow the VAE with a hyperbolic geometry and empirically show that it can better generalise to unseen data than its Euclidean counterpart, and can qualitatively recover the hierarchical structure.

研究动机与目标

• 解决欧几里得VAE在建模生物分类学或语言层次结构等层次化数据时的局限性。
• 利用双曲空间固有的几何特性，其天然适合树状结构数据。
• 开发一种结合双曲几何归纳偏置与变分自编码灵活性的深度生成模型。
• 通过实证验证，双曲VAE在未见层次化数据上的泛化能力优于其欧几里得对应模型。

提出的方法

• 用庞加莱球流形替代VAE中的标准欧几里得潜在空间，以编码层次化结构。
• 使用黎曼随机梯度下降在双曲空间中优化变分下界。
• 使用庞加莱正态分布和冯·米塞斯-费舍尔分布参数化推理和先验分布。
• 应用适配于庞加莱流形的重参数化技巧，以实现可微训练。
• 通过考虑双曲空间曲率的变分下界，端到端训练模型。
• 利用庞加莱球的内在距离度量，以在潜在空间中保持层次关系。

实验结果

研究问题

• RQ1 与欧几里得VAE相比，具有庞加莱潜在空间的VAE是否能更好地捕捉数据的层次结构？
• RQ2 在双曲空间中学习是否能提升在层次化数据分布上的泛化能力？
• RQ3 P-VAEs在真实世界数据集（如WordNet或生物分类学）中，能在多大程度上重建已知的层次关系？
• RQ4 庞加莱空间的曲率在多大程度上影响了学习表征的质量？
• RQ5 双曲几何的归纳偏置是否足以在不修改网络架构的情况下提升性能？

主要发现

• P-VAEs在层次化数据分布上的泛化性能优于标准的欧几里得VAE。
• 该模型在学习到的潜在空间中定性地恢复了数据的层次结构，如分类树。
• P-VAEs在涉及层次关系的下游任务（如词汇层次预测）中表现出更优的性能。
• 庞加莱空间中的潜在表征比欧几里得空间更准确地保持了层次距离。
• 使用双曲几何可为树状结构数据生成更紧凑且更具语义意义的表征。