[论文解读] Latent Variable Modelling with Hyperbolic Normalizing Flows

Avishek Joey Bose, Ariella Smofsky+3 more|arXiv (Cornell University)|Feb 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 11

一句话总结

本文提出了首个适用于双曲空间的归一化流，实现了层次数据在随机变分推断中灵活、可逆的后验近似。通过提出切线耦合（TC）和包裹双曲面耦合（WHC），该方法实现了高效的采样和精确的似然估计，在树状结构数据的密度估计和图重构任务中优于欧氏空间归一化流与双曲变分自编码器（VAE）。

ABSTRACT

The choice of approximate posterior distributions plays a central role in stochastic variational inference (SVI). One effective solution is the use of normalizing flows \cut{defined on Euclidean spaces} to construct flexible posterior distributions. However, one key limitation of existing normalizing flows is that they are restricted to the Euclidean space and are ill-equipped to model data with an underlying hierarchical structure. To address this fundamental limitation, we present the first extension of normalizing flows to hyperbolic spaces. We first elevate normalizing flows to hyperbolic spaces using coupling transforms defined on the tangent bundle, termed Tangent Coupling ($\mathcal{TC}$). We further introduce Wrapped Hyperboloid Coupling ($\mathcal{W}\mathbb{H}C$), a fully invertible and learnable transformation that explicitly utilizes the geometric structure of hyperbolic spaces, allowing for expressive posteriors while being efficient to sample from. We demonstrate the efficacy of our novel normalizing flow over hyperbolic VAEs and Euclidean normalizing flows. Our approach achieves improved performance on density estimation, as well as reconstruction of real-world graph data, which exhibit a hierarchical structure. Finally, we show that our approach can be used to power a generative model over hierarchical data using hyperbolic latent variables.

研究动机与目标

• 为解决欧氏空间归一化流在建模具有层次结构的数据时的局限性。
• 通过利用黎曼几何并保持可逆性与可计算的雅可比行列式，将归一化流扩展至双曲空间。
• 在结构化数据的双曲潜变量模型中，实现高效且可微的后验近似。
• 与欧氏方法及现有双曲方法相比，展示在密度估计、重构与生成任务上的性能提升。

提出的方法

• 提出切线耦合（TC），一种定义在双曲面流形切丛上的耦合层，实现双曲空间中的可逆变换。
• 提出包裹双曲面耦合（WHC），一种完全可逆且可学习的变换，显式利用双曲几何以建模复杂后验分布。
• 基于双曲空间的洛伦兹模型，推导出TC与WHC的体积变化行列式，确保O(n)时间内的高效计算。
• 采用洛伦兹模型（双曲面）以提升数值稳定性并提供显式几何公式，支持流形上的可微操作。
• 在双曲面流形上定义基分布，并通过一系列可逆变换学习复杂的后验分布。
• 将该框架应用于具有双曲潜空间的变分自编码器，实现对层次数据的生成建模。

实验结果

研究问题

• RQ1 能否成功将归一化流扩展至双曲空间，以比欧氏流更有效地建模层次数据？
• RQ2 如何在保持高效雅可比行列式计算的前提下，构建双曲流形上的可逆、可微变换？
• RQ3 与欧氏方法及现有双曲VAE相比，双曲归一化流能否在层次图数据上提升密度估计与重构性能？
• RQ4 使用洛伦兹模型进行双曲归一化流时，其计算与数值权衡如何？

主要发现

• 所提出的双曲归一化流在层次数据的结构化密度估计任务中，性能优于欧氏归一化流与双曲VAE。
• 由于基分布可重参数化且流可逆，该方法实现了精确的似然估计与低方差梯度估计。
• 在真实世界层次网络上的图重构任务中，基于双曲归一化流的VAE展现出显著的定性与定量性能提升。
• TC与WHC的体积变化计算效率高，每次变换仅需O(n)次操作，支持可扩展训练。
• 该方法表明，采用灵活后验的双曲潜变量模型可生成质量更高的样本，尤其在树状结构数据上优于欧氏基线。
• 由于洛伦兹模型中钳位操作的数值限制，流架构的深度受到制约，提示未来工作需探索其他双曲模型。