[论文解读] Graph Geometry Interaction Learning

Shichao Zhu, Shirui Pan+4 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 28被引用 21

一句话总结

本文提出几何交互学习（GIL），一种新颖的图表示方法，通过双几何交互机制在欧几里得空间与双曲空间中联合建模图结构。GIL 在双曲空间中采用距离感知注意力机制，并结合概率聚合的自适应特征融合方法，动态分配每个节点在不同几何空间中的重要性，从而在五个基准数据集上的节点分类与链接预测任务中达到最先进性能。

ABSTRACT

While numerous approaches have been developed to embed graphs into either Euclidean or hyperbolic spaces, they do not fully utilize the information available in graphs, or lack the flexibility to model intrinsic complex graph geometry. To utilize the strength of both Euclidean and hyperbolic geometries, we develop a novel Geometry Interaction Learning (GIL) method for graphs, a well-suited and efficient alternative for learning abundant geometric properties in graph. GIL captures a more informative internal structural features with low dimensions while maintaining conformal invariance of each space. Furthermore, our method endows each node the freedom to determine the importance of each geometry space via a flexible dual feature interaction learning and probability assembling mechanism. Promising experimental results are presented for five benchmark datasets on node classification and link prediction tasks.

研究动机与目标

• 为解决单一切空间图嵌入在捕捉规则性与层次性等多样化结构特性方面的局限性。
• 通过交互学习机制实现欧几里得与双曲表示之间的相互增强。
• 在两种几何空间中保持共形不变性，同时支持低维且信息丰富的节点表示。
• 提供自适应的、与节点相关的几何嵌入加权机制，以提升下游任务性能。
• 通过可视化每个节点在不同几何空间中的学习重要性，增强模型可解释性。

提出的方法

• 利用指数映射与对数映射在欧几里得与双曲空间之间建立桥梁，实现跨几何的消息传递。
• 在双曲空间中引入距离感知注意力机制，利用切空间上的双曲距离指导邻居聚合。
• 采用交互学习模块，通过双空间注意力与共形结构调节，自适应融合来自两种几何空间的特征。
• 应用基于超平面的逻辑回归，随后进行概率聚合，计算每个节点在不同几何空间中的置信度权重。
• 在欧几里得与双曲空间中均保持共形不变性，支持端到端训练。
• 采用可学习权重机制，在预测过程中动态确定每个节点的欧几里得与双曲嵌入的相对重要性。

实验结果

研究问题

• RQ1 与单一切空间方法相比，联合建模欧几里得与双曲几何是否能提升图表示学习性能？
• RQ2 如何有效交互两种几何空间的信息，以增强节点表示？
• RQ3 对异质图结构而言，自适应的、与节点相关的几何嵌入加权是否能带来更好的性能？
• RQ4 双曲空间中的距离感知注意力机制在多大程度上改善了消息传播？
• RQ5 概率聚合机制是否能为每个节点在不同几何空间中的贡献提供可解释的洞察？

主要发现

• GIL 在五个基准数据集上的节点分类与链接预测任务中均达到最先进性能，优于所有欧几里得与双曲基线方法。
• 在具有高双曲性的 Disease 数据集中，GIL 的节点分类准确率达到 90.70%，显著优于次优方法（88.98%）。
• 在双曲性较低的 Citeseer 数据集中，GIL 达到 72.97% 的准确率，较最佳基线提升超过 1.5 个百分点。
• 消融实验表明，双特征融合（GIL）性能最佳，而 GIL H↮E（无融合）表现最弱，验证了交互机制的重要性。
• 可视化结果表明，在层次图中边界节点更倾向于赋予双曲嵌入更高的概率权重，证实模型与结构直觉的一致性。
• 距离感知注意力机制降低了方差并提升了所有数据集的准确率，在 Airport 数据集上相较非注意力变体平均提升 2.3%。