[论文解读] Fully Hyperbolic Neural Networks

Weize Chen, Xu Han+6 more|arXiv (Cornell University)|May 31, 2021

Neural Networks and Applications被引用 13

一句话总结

本文提出了一种基于洛伦兹模型的全双曲神经网络框架，利用洛伦兹变换（提升和旋转）在双曲空间中直接形式化神经网络操作，避免了不稳定的切空间映射。该方法在性能和稳定性方面优于现有混合双曲神经网络，尤其在自然语言处理任务中建模层次结构方面表现更优。

ABSTRACT

Hyperbolic neural networks have shown great potential for modeling complex data. However, existing hyperbolic networks are not completely hyperbolic, as they encode features in a hyperbolic space yet formalize most of their operations in the tangent space (a Euclidean subspace) at the origin of the hyperbolic space. This hybrid method greatly limits the modeling ability of networks. In this paper, we propose a fully hyperbolic framework to build hyperbolic networks based on the Lorentz model by adapting the Lorentz transformations (including boost and rotation) to formalize essential operations of neural networks. Moreover, we also prove that linear transformation in tangent spaces used by existing hyperbolic networks is a relaxation of the Lorentz rotation and does not include the boost, implicitly limiting the capabilities of existing hyperbolic networks. The experimental results on four NLP tasks show that our method has better performance for building both shallow and deep networks. Our code will be released to facilitate follow-up research.

研究动机与目标

• 解决现有双曲神经网络依赖切空间所带来的局限性，该局限性限制了其建模能力。
• 开发一种全双曲框架，通过洛伦兹变换在双曲空间中直接形式化神经网络操作。
• 证明先前在切空间中使用线性变换的方法是洛伦兹旋转的一种弱化形式，且缺失更具表达力的洛伦兹提升（boost）分量。
• 在下游自然语言处理任务中，与欧几里得和混合双曲基线相比，展示出更优的性能、更快的速度和更高的稳定性。
• 提供一种理论基础坚实、数值稳定的替代方案，以取代当前的双曲神经网络架构。

提出的方法

• 采用洛伦兹模型作为底层双曲空间，因其具有数值稳定性以及简单的指数/对数映射。
• 用洛伦兹变换（特别是洛伦兹提升和旋转）替代切空间操作，实现全双曲的线性层和注意力层。
• 推导并实现洛伦兹变换作为全双曲神经网络的核心操作，确保所有计算均保留在双曲空间内。
• 证明在原点切空间中的线性操作是洛伦兹旋转的一种受限形式，缺少提升分量，因此表达能力受限。
• 设计了一种全双曲的 Transformer 变体（HyboNet），将洛伦兹变换应用于注意力和前馈层。
• 采用保距等距变换，以在双曲空间中保持操作之间的几何一致性。

实验结果

研究问题

• RQ1 是否可以完全在双曲空间中形式化神经网络操作，而无需依赖切空间投影？
• RQ2 在现有双曲网络中此前缺失的洛伦兹提升的引入，如何影响模型的表达能力和性能？
• RQ3 与混合或欧几里得基线相比，全双曲框架是否能在层次化自然语言处理任务中提升稳定性、收敛速度和性能？
• RQ4 洛伦兹变换在捕捉层次化数据结构方面，与切空间中的线性操作相比，优势有多大？
• RQ5 全双曲网络是否能在知识图谱嵌入、实体分类和依存句法分析等多种自然语言处理任务中实现良好泛化？

主要发现

• 所提出的全双曲网络 HyboNet 在四项自然语言处理任务（包括知识图谱嵌入和依存树探测）中，优于欧几里得和混合双曲基线模型。
• 在 IWSLT’14 依存树探测任务中，HyboNet 达到了 UUAS 0.59 和 Dspr. 0.70，显著优于 HAtt（UUAS: 0.50，Dspr.: 0.64）和欧几里得 Transformer。
• 在依存句法分析中，模型取得了 64% 的 Root%，表明其在预测句法根节点方面表现强劲。
• HyboNet 在训练收敛速度和稳定性方面优于依赖昂贵对数与指数映射的混合双曲网络。
• 消融实验确认，洛伦兹提升至关重要，其在现有方法中的缺失限制了模型的建模能力。
• 尽管性能更优，HyboNet 仍比欧几里得网络更慢，且由于浮点数误差无法使用半精度训练，表明准确率与效率之间存在权衡。