[论文解读] HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs

Chaojie Ji, Ruxin Wang+3 more|arXiv (Cornell University)|Apr 9, 2020

Bioinformatics and Genomic Networks参考文献 38被引用 5

一句话总结

HopGAT 提出了一种基于邻近距离的注意力监督机制，通过联合优化分类损失与基于邻近距离的注意力系数，显著提升了稀疏标注图中的节点分类性能。该方法在 PPI 网络上仅使用 40% 的标注数据时，准确率下降仅为 3.9%（从 98.5% 降至 94.6%），实现了当前最优性能，通过在多跳邻域中引入结构化的注意力监督，超越了先前模型的性能表现。

ABSTRACT

Due to the cost of labeling nodes, classifying a node in a sparsely labeled graph while maintaining the prediction accuracy deserves attention. The key point is how the algorithm learns sufficient information from more neighbors with different hop distances. This study first proposes a hop-aware attention supervision mechanism for the node classification task. A simulated annealing learning strategy is then adopted to balance two learning tasks, node classification and the hop-aware attention coefficients, along the training timeline. Compared with state-of-the-art models, the experimental results proved the superior effectiveness of the proposed Hop-aware Supervision Graph Attention Networks (HopGAT) model. Especially, for the protein-protein interaction network, in a 40% labeled graph, the performance loss is only 3.9%, from 98.5% to 94.6%, compared to the fully labeled graph. Extensive experiments also demonstrate the effectiveness of supervised attention coefficient and learning strategies.

研究动机与目标

• 为解决在标注节点稀少且获取成本高昂的稀疏标注图中，节点分类准确率低下的挑战。
• 通过利用不同邻近距离邻居的语义信息，提升模型泛化能力，认识到较近邻居（低邻近距离）更可能共享标签。
• 克服 GAT 中无监督注意力机制的局限性，后者无法根据邻近距离区分或学习邻居之间的有意义差异。
• 设计一种联合学习策略，在训练过程中平衡节点分类与邻近距离感知的注意力监督。

提出的方法

• 提出一种邻近距离感知的注意力监督机制，显式建模中心节点不同邻近距离邻居的影响。
• 引入一种可微分损失函数，将节点分类损失与注意力系数损失相结合，并引入可学习的平衡参数 γ。
• 采用受模拟退火启发的学习策略，动态调整训练过程中分类任务与注意力监督之间的平衡。
• 使用饱和参数 γ_str 稳定训练过程，防止训练后期注意力损失突然上升。
• 可视化注意力系数分布，验证模型成功学习到对应于 0-跳、1-跳及 >1-跳邻居的独立聚类。
• 在引文网络与生物网络（如 Cora、PubMed、PPI）上进行训练，并在不同标签率下评估性能，包括 40% 和 100% 的标签率。

实验结果

研究问题

• RQ1 基于邻近距离的注意力系数显式监督是否能提升稀疏标注图中的节点分类性能？
• RQ2 一种动态学习策略，能够平衡节点分类与注意力监督，是否能带来更好的模型泛化能力？
• RQ3 注意力机制是否能被有效引导以根据邻近距离区分邻居，而非完全依赖无监督注意力学习？
• RQ4 在极端标签稀缺情况下（如仅 40% 节点被标注），模型性能与完全标注设置相比如何？
• RQ5 联合优化分类损失与注意力损失是否能带来更具可解释性与结构意义的注意力分布？

主要发现

• 在 PPI 网络上，HopGAT 在仅使用 40% 标注节点时达到 94.6% 的 F1 分数，相比完全标注模型的 98.5% 仅下降 3.9%，性能下降极小。
• 模型的注意力系数分布显示出三个明显分离的聚类，分别对应 0-跳、1-跳及 >1-跳邻居，证实了邻近距离感知注意力学习的成功。
• 注意力系数损失的收敛早于分类损失，且动态 γ 策略在训练各阶段有效平衡了两个目标。
• 基于模拟退火的训练策略通过引入饱和参数，有效缓解了训练不稳定性，尤其在训练后期防止了注意力损失的急剧上升。
• HopGAT 的第 1 层在训练 40 个周期后已能清晰地按邻近距离聚类注意力权重，第 2 层则展现出更分明的边界，表明特征提炼更加深入。
• 大量消融实验证实，邻近距离感知监督与动态学习策略对实现当前最优性能均至关重要。