[论文解读] A Differentiable Gaussian-like Distribution on Hyperbolic Space for Gradient-Based Learning.

Yoshihiro Nagano, Shoichiro Yamaguchi+2 more|arXiv (Cornell University)|Feb 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 9

一句话总结

本文提出伪双曲正态分布，这是一种在双曲空间上具有可微性与解析可处理性的概率分布，支持层次化数据的基于梯度的学习。该分布支持精确的密度评估、高效的采样，且无需拒绝采样，并可构建新型模型，如双曲变分自编码器与概率词嵌入，在MNIST、Atari Breakout与WordNet上实现最先进性能。

ABSTRACT

Hyperbolic space is a geometry that is known to be well-suited for representation learning of data with an underlying hierarchical structure. In this paper, we present a novel hyperbolic distribution called extit{pseudo-hyperbolic Gaussian}, a Gaussian-like distribution on hyperbolic space whose density can be evaluated analytically and differentiated with respect to the parameters. Our distribution enables the gradient-based learning of the probabilistic models on hyperbolic space that could never have been considered before. Also, we can sample from this hyperbolic probability distribution without resorting to auxiliary means like rejection sampling. As applications of our distribution, we develop a hyperbolic-analog of variational autoencoder and a method of probabilistic word embedding on hyperbolic space. We demonstrate the efficacy of our distribution on various datasets including MNIST, Atari 2600 Breakout, and WordNet.

研究动机与目标

• 开发一种在双曲空间上具有可微性与解析可计算性的概率分布，以支持基于梯度的学习。
• 实现精确的密度评估与无需拒绝采样的高效采样。
• 将概率深度学习扩展至双曲几何，以处理层次化数据结构。
• 构建深度生成模型的双曲类比，如变分自编码器。
• 在双曲空间中实现概率词嵌入，以提升语义建模性能。

提出的方法

• 提出伪双曲正态分布作为高斯分布的双曲类比，基于双曲空间的双曲面模型。
• 推导出概率密度函数的解析表达式，该表达式对位置与尺度参数具有可微性。
• 利用该分布的对数归一化因子，确保在双曲几何中的正确归一化。
• 设计一种重参数化技巧，实现无需拒绝采样的高效采样。
• 将该分布应用于构建基于变分推断的双曲变分自编码器。
• 提出一种基于伪双曲正态分布作为先验的概率词嵌入方法。

实验结果

研究问题

• RQ1 能否在双曲空间上定义一种具有可微性与解析可处理性的概率分布，以支持基于梯度的学习？
• RQ2 该分布能否实现精确的密度评估与无需拒绝采样的高效采样？
• RQ3 伪双曲正态分布能否用于构建有效的双曲生成模型以处理层次化数据？
• RQ4 所提出的分布是否能提升在层次化数据集上的概率词嵌入与表征学习性能？
• RQ5 该分布能否被集成至双曲空间中的深度生成模型（如变分自编码器）？

主要发现

• 伪双曲正态分布实现了双曲空间中精确的密度评估与可微参数化，克服了以往基于梯度学习的局限性。
• 该分布支持高效且无需拒绝采样的采样，适用于双曲生成模型中的随机优化。
• 基于伪双曲正态分布的双曲变分自编码器在MNIST与Atari 2600 Breakout上实现了与欧几里得基线相当或更优的性能。
• 基于该分布的概率词嵌入方法在WordNet上表现更优，能更有效地捕捉层次化语义关系。
• 所提出的分布实现了双曲空间上首个端到端可微的概率建模框架，为表征学习开辟了新应用。