[论文解读] Descent Steps of a Relation-Aware Energy Produce Heterogeneous Graph Neural Networks

Hongjoon Ahn, Yongyi Yang+3 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出HALO，一种新颖的异构图神经网络（HGNN），其消息传递层源自关系感知能量函数上的梯度下降步骤，并结合可学习的兼容性矩阵。通过建模多样的异构性关系并利用能量最小化确保收敛，HALO在8个基准数据集上实现了最先进的节点分类准确率，同时在深层架构中有效抵抗了过度平滑问题。

ABSTRACT

Heterogeneous graph neural networks (GNNs) achieve strong performance on node classification tasks in a semi-supervised learning setting. However, as in the simpler homogeneous GNN case, message-passing-based heterogeneous GNNs may struggle to balance between resisting the oversmoothing that may occur in deep models, and capturing long-range dependencies of graph structured data. Moreover, the complexity of this trade-off is compounded in the heterogeneous graph case due to the disparate heterophily relationships between nodes of different types. To address these issues, we propose a novel heterogeneous GNN architecture in which layers are derived from optimization steps that descend a novel relation-aware energy function. The corresponding minimizer is fully differentiable with respect to the energy function parameters, such that bilevel optimization can be applied to effectively learn a functional form whose minimum provides optimal node representations for subsequent classification tasks. In particular, this methodology allows us to model diverse heterophily relationships between different node types while avoiding oversmoothing effects. Experimental results on 8 heterogeneous graph benchmarks demonstrates that our proposed method can achieve competitive node classification accuracy

研究动机与目标

• 解决深层异构GNN中因堆叠过多层以捕捉长距离依赖关系而引发的过度平滑问题。
• 克服现有消息传递GNN假设同质性所带来的局限，这些方法在异构图中不同节点类型之间的复杂异构性关系建模上表现不佳。
• 开发一种可微分的、基于优化的异构GNN架构，通过展开新型能量函数上的下降步骤，自然地整合跳跃连接并避免特征崩溃。
• 通过双层优化实现端到端训练，以学习能量函数的功能形式及其参数，包括特定关系的兼容性矩阵。
• 证明可学习兼容性矩阵在强异构性或节点类型不平衡设置下的节点分类任务中显著提升性能。

提出的方法

• 提出一种关系感知能量函数，利用依赖关系的兼容性矩阵对异构节点嵌入进行正则化，受信念传播技术（如ZooBP）的启发。
• 将逐层消息传递规则推导为能量函数上的梯度下降步骤，在适当的学习率条件下确保收敛。
• 将跳跃连接、线性特征聚合和自环变换整合到传播规则中，每一项均可解释为能量最小化过程的组成部分。
• 使用双层优化联合学习能量函数参数（包括兼容性矩阵）和节点表示，实现端到端训练。
• 应用近端梯度下降（PGD）作为非线性传播算子以提升泛化能力，消融实验表明其重要性。
• 构建能量函数，使其最小值能产生适合下游分类任务的判别性节点表示。

实验结果

研究问题

• RQ1 基于关系感知兼容性矩阵的新型能量框架是否能提升复杂异构性关系下异构图中的节点表示学习？
• RQ2 与标准消息传递架构相比，所提出的能量最小化框架在深层异构GNN中如何防止过度平滑？
• RQ3 与固定或单位矩阵相比，可学习兼容性矩阵在建模不同类型节点关系时能多大程度上提升性能？
• RQ4 在所提出的HALO模型中，传播步数如何影响收敛性、准确率和能量函数最小化？
• RQ5 通过近端梯度下降引入非线性激活是否能提升异构图学习中的泛化能力和分类准确率？

主要发现

• HALO在8个异构图基准上实现了SOTA性能，优于包括ZooBP在内的SOTA模型，尤其在具有强异构性的节点类型上表现更优。
• 在DBLP-reduced数据集上，当$k=18$时，HALO在'Paper'类型上达到97.81%的准确率，在'Author'类型上达到84.73%，显著优于ZooBP的81.76%和16.08%。
• 在ACM数据集上，当$k=4$时，HALO在'Paper'类型上达到96.63%的准确率，在'Author'类型上达到93.89%，而ZooBP分别为79.63%和73.43%。
• 消融研究证实，使用可学习兼容性矩阵（$\mathbf{H}_t$）相比固定或单位矩阵能显著提升性能，MUTAG和BGS数据集上性能提升最高达15%。
• 移除近端梯度下降（PGD）步骤会显著降低性能（例如，MUTAG上从86.17%降至77.94%），证明其在增强泛化能力中的关键作用。
• 随着传播步数增加，训练和验证准确率稳步提升，同时能量函数值单调下降，证实了收敛性和有效最小化。