[论文解读] Hyperbolic Representation Learning: Revisiting and Advancing

Meng‐Lin Yang, Min Zhou+3 more|arXiv (Cornell University)|Jun 15, 2023

Human Motion and Animation被引用 6

一句话总结

本文提出Hyperbolic Informed Embedding（HIE），一种模型和任务无关的方法，通过利用到原点的双曲距离（HDO）作为层次结构的免费代理，增强双曲表示学习。HIE通过将根节点对齐至原点并应用层级感知拉伸，提升现有模型，在下游任务中实现最高21.4%的准确率提升。

ABSTRACT

The non-Euclidean geometry of hyperbolic spaces has recently garnered considerable attention in the realm of representation learning. Current endeavors in hyperbolic representation largely presuppose that the underlying hierarchies can be automatically inferred and preserved through the adaptive optimization process. This assumption, however, is questionable and requires further validation. In this work, we first introduce a position-tracking mechanism to scrutinize existing prevalent \hlms, revealing that the learned representations are sub-optimal and unsatisfactory. To address this, we propose a simple yet effective method, hyperbolic informed embedding (HIE), by incorporating cost-free hierarchical information deduced from the hyperbolic distance of the node to origin (i.e., induced hyperbolic norm) to advance existing \hlms. The proposed method HIE is both task-agnostic and model-agnostic, enabling its seamless integration with a broad spectrum of models and tasks. Extensive experiments across various models and different tasks demonstrate the versatility and adaptability of the proposed method. Remarkably, our method achieves a remarkable improvement of up to 21.4\% compared to the competing baselines.

研究动机与目标

• 探究当前双曲模型是否能有效保留学习表示中的层次结构。
• 识别现有双曲模型在双曲空间中未能正确放置根节点和叶节点的缺陷。
• 开发一种轻量级、可泛化的改进方法，增强层次学习，且无需修改模型架构。
• 验证使用到原点的双曲距离（HDO）作为数据内在层次结构代理的有效性。

提出的方法

• 引入一种位置追踪机制，分析双曲空间中学习嵌入的空间分布，揭示节点定位欠佳的问题。
• 提出Hyperbolic Informed Embedding（HIE），一种两阶段方法：通过最小化HDO实现根节点对齐，基于层级水平进行层级感知拉伸。
• 使用双曲范数（到原点的距离）作为层次深度的免费指标，实现根节点和叶节点的自动检测。
• 将HIE作为后处理或训练时正则化步骤应用，兼容任意双曲模型和任务。
• 采用庞加莱球模型作为基础几何结构，其中原点代表根节点，范数增大表示层级更深。
• 无缝集成HIE至现有模型（如HGCN、HNN和双曲图神经网络），无需增加参数或修改架构。

Figure 1: Illustration of an optimal embedding in hyperbolic space that preserves the local dependencies while maintaining a hierarchical relationships of the entities. Left: A tree-like graph. Right: Hyperbolic embedding of the tree-like graph.

实验结果

研究问题

• RQ1 当前双曲模型在学习表示中在多大程度上保留了数据的真实层次结构？
• RQ2 到原点的双曲距离（HDO）能否作为识别双曲嵌入中层级水平的可靠且有效代理？
• RQ3 通过HDO强制实现根节点对齐和层级感知拉伸，是否能显著提升多种模型和任务的下游性能？
• RQ4 与替代性中心性度量（如度中心性、介数中心性、接近中心性）相比，HIE在识别根节点用于层次对齐方面表现如何？

主要发现

• 现有双曲模型未能正确放置根节点和叶节点，在学习表示中观察到显著的错位。
• HIE在多个数据集和模型上相比最先进基线方法，性能最高提升21.4%。
• 消融实验确认，根节点对齐和层级感知拉伸均不可或缺；移除任一组件均导致性能下降。
• HIE在根节点识别方面优于替代性中心性度量（如度中心性、介数中心性、接近中心性），其中基于HDO的HC方法表现最一致。
• 即使在层次结构不明显的低双曲性数据集（如Disease和Airport）上，HIE仍表现出有效性。
• HIE在Cora、Citeseer、Disease和Airport的数据集上节点分类任务中实现一致性能提升，Cora上提升9.0%，Citeseer上提升8.8%。

Figure 3: Illustration of the basic idea of HIE, which can be decomposed into two critical steps: root alignment and level-aware stretching.