[论文解读] Graph Star Net for Generalized Multi-Task Learning

Lu Haonan, Seth H. Huang+2 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Graph Neural Networks参考文献 29被引用 32

一句话总结

GraphStar 引入了一种新颖的图神经网络架构，通过使用星型节点作为虚拟消息传递中继，以不增加模型深度或计算成本的方式捕捉局部和全局图表示。它在节点分类、图分类和链接预测任务上实现了最先进性能，在关键基准测试中相比先前方法提升了 2–5%，并实现了对未见图的归纳学习。

ABSTRACT

In this work, we present graph star net (GraphStar), a novel and unified graph neural net architecture which utilizes message-passing relay and attention mechanism for multiple prediction tasks - node classification, graph classification and link prediction. GraphStar addresses many earlier challenges facing graph neural nets and achieves non-local representation without increasing the model depth or bearing heavy computational costs. We also propose a new method to tackle topic-specific sentiment analysis based on node classification and text classification as graph classification. Our work shows that 'star nodes' can learn effective graph-data representation and improve on current methods for the three tasks. Specifically, for graph classification and link prediction, GraphStar outperforms the current state-of-the-art models by 2-5% on several key benchmarks.

研究动机与目标

• 为解决图神经网络中捕捉长距离依赖关系的挑战，同时不增加模型深度或计算成本。
• 将节点分类、图分类和链接预测统一到一个归纳式框架中。
• 提升对未见图数据的泛化能力和归纳偏置，特别是在低数据场景下。
• 通过基于图的表征实现有效的主题特定情感分析和文本分类。
• 通过作为信息中继的虚拟星型节点，设计分层的、全局感知的图表征。

提出的方法

• GraphStar 将星型节点作为虚拟中继点，聚合图中全局信息，实现非局部消息传递。
• 该模型采用两阶段更新过程：首先使用邻居节点和星型节点更新真实节点表征，然后使用所有真实节点表征更新星型节点。
• 采用多头自注意力机制计算节点与星型节点之间的注意力权重，实现动态特征加权。
• 星型节点作为图的分层全局摘要，可直接用于图分类任务。
• 该架构设计为归纳式，可在无需微调的情况下对之前未见过的图进行预测。
• 通过轻量级、线性复杂度的注意力机制，整合局部邻域聚合与全局上下文建模。

实验结果

研究问题

• RQ1 图神经网络是否能在不增加模型深度或计算成本的前提下，有效捕捉全局图结构？
• RQ2 如何设计一种统一架构，同时实现具有强归纳偏置的节点分类、图分类和链接预测？
• RQ3 虚拟星型节点能否作为有效的全局信息中继，以提升多种图任务的表征学习性能？
• RQ4 GraphStar 在未见图上的泛化能力如何，特别是在低数据或归纳设置下？
• RQ5 星型节点机制是否能提升下游任务（如主题特定情感分析和文本分类）的性能？

主要发现

• 在图分类和链接预测任务的关键基准测试中，GraphStar 相较于最先进模型性能提升 2–5%。
• 在 IMDB 数据集上，即使训练集规模大幅缩减，GraphStar 仍实现了高达 94.0% 的测试准确率，展现出强大的泛化能力。
• 在 PPI 数据集上，GraphStar 在训练数据显著减少的情况下仍保持强劲性能，表明其对数据稀缺具有鲁棒性。
• 在 10 折交叉验证中，GraphStar 在各次运行中均表现出高稳定性，尤其在 Enzymes 和 Proteins 数据集上，优于先前的最先进模型。
• GraphStar 在单一统一架构下，于节点分类、图分类和链接预测三项任务上均达到最先进水平。
• GraphStar 在主题特定情感分析和文本分类任务中实现了有效的归纳学习，超越了归纳式节点分类基线模型。