[论文解读] Hyperbolic Neural Networks

Octavian-Eugen Ganea, Gary Bécigneul+1 more|arXiv (Cornell University)|May 23, 2018

Topological and Geometric Data Analysis参考文献 17被引用 36

一句话总结

本文提出了双曲神经网络（HNNs），这是一种系统性的框架，将多项式逻辑回归、前馈网络和门控循环网络等关键深度学习组件推广至双曲几何的庞加莱球模型。通过结合莫比乌斯旋量空间与黎曼几何，HNNs 实现了在双曲空间中的有效学习，在层次化自然语言处理任务（如文本蕴含和噪声前缀识别）中取得了最先进性能，即使在低维嵌入下也常优于欧几里得空间的对应模型。

ABSTRACT

Hyperbolic spaces have recently gained momentum in the context of machine learning due to their high capacity and tree-likeliness properties. However, the representational power of hyperbolic geometry is not yet on par with Euclidean geometry, mostly because of the absence of corresponding hyperbolic neural network layers. This makes it hard to use hyperbolic embeddings in downstream tasks. Here, we bridge this gap in a principled manner by combining the formalism of Möbius gyrovector spaces with the Riemannian geometry of the Poincaré model of hyperbolic spaces. As a result, we derive hyperbolic versions of important deep learning tools: multinomial logistic regression, feed-forward and recurrent neural networks such as gated recurrent units. This allows to embed sequential data and perform classification in the hyperbolic space. Empirically, we show that, even if hyperbolic optimization tools are limited, hyperbolic sentence embeddings either outperform or are on par with their Euclidean variants on textual entailment and noisy-prefix recognition tasks.

研究动机与目标

• 为解决缺乏系统性双曲几何深度学习工具的问题，从而限制了双曲嵌入在下游任务中的应用。
• 通过将标准神经网络层推广至常负曲率空间，弥合欧几里得与双曲深度学习之间的差距。
• 实现在双曲空间中对层次化、树状结构数据（如文本蕴含和知识图谱）的有效表征与分类。
• 通过实证表明，双曲神经网络在序列性、层次化结构数据上的表现优于或匹配其欧几里得对应模型。

提出的方法

• 以双曲空间的庞加莱球模型作为神经网络运算的底层黎曼流形。
• 应用莫比乌斯旋量空间的形式化方法，推广双曲空间中的向量加法与数乘运算。
• 推导出标准深度学习层的双曲版本，包括多项式逻辑回归、前馈网络和门控循环单元（GRUs）。
• 使用黎曼随机梯度下降（RSGD）进行优化，通过曲率相关参数化统一欧几里得与双曲几何。
• 采用对数映射（log₀）将双曲嵌入投影至切空间，以与欧几里得模型进行比较。
• 提出一个统一框架，通过曲率参数化实现欧几里得与双曲空间之间的连续变形。

实验结果

研究问题

• RQ1 能否以系统性方式将多项式逻辑回归和RNN等标准深度学习组件推广至双曲几何？
• RQ2 双曲神经网络在层次化序列数据上的表现相较于其欧几里得对应模型如何？
• RQ3 保持双曲空间的内在几何结构是否能提升树状结构数据的分类性能？
• RQ4 低维双曲嵌入是否能有效捕捉自然语言和知识图谱中的层次结构？
• RQ5 使用黎曼优化与切空间投影对双曲学习的影响有何差异？

主要发现

• 在 WordNet 文本蕴含任务中，双曲 MLR 在 10 维嵌入下达到 99.26% 的测试 F1 分数，优于最佳欧几里得变体（使用切空间投影时为 99.36%），并显著超越直接的欧几里得映射。
• 在 'worker.n.01' 子树中，双曲 MLR 使用 10D 嵌入达到 91.91% F1，而最佳欧几里得基线（使用 log₀ 映射）仅达 91.41%，表明在高阶层次设置中具有持续优势。
• 在 'mammal.n.01' 子树中，双曲 MLR 达到 91.37% F1（10D 嵌入），优于使用切空间投影的最佳欧几里得模型（77.76% F1）。
• 在 'animal.n.01' 子树中，双曲 MLR 达到 99.26% F1（10D 嵌入），超过使用 log₀+欧几里得基线的 98.27%，表明在大型、深层的层次结构中具有稳健优势。
• 双曲 GRU 模型在噪声前缀识别任务中表现出色，表明双曲空间中的 RNN 能够有效建模具有隐含层次结构的序列数据。
• 可视化结果证实，双曲几何比欧几里得投影更能保持层次聚类结构，测地线决策边界自然对齐于数据的树状结构。