[论文解读] Feature Interaction-aware Graph Neural Networks

Kaize Ding, Yichuan Li+3 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Graph Neural Networks参考文献 45被引用 4

一句话总结

本文提出特征交互感知图神经网络（FI-GNNs），一种即插即用的框架，通过个性化注意力机制显式建模信息丰富的特征交互，从而在特征稀疏图上提升节点表征学习能力。通过将特征分解与图消息传递相结合，FI-GNNs 在真实世界数据集上的节点分类和链接预测任务中均表现出优越性能。

ABSTRACT

Inspired by the immense success of deep learning, graph neural networks (GNNs) are widely used to learn powerful node representations and have demonstrated promising performance on different graph learning tasks. However, most real-world graphs often come with high-dimensional and sparse node features, rendering the learned node representations from existing GNN architectures less expressive. In this paper, we propose extit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}, a plug-and-play GNN framework for learning node representations encoded with informative feature interactions. Specifically, the proposed framework is able to highlight informative feature interactions in a personalized manner and further learn highly expressive node representations on feature-sparse graphs. Extensive experiments on various datasets demonstrate the superior capability of FI-GNNs for graph learning tasks.

研究动机与目标

• 解决现有图神经网络在真实世界图中从高维稀疏节点特征学习表达性表征的局限性。
• 自动学习有意义的特征交互，而无需依赖人工特征工程或领域特定知识。
• 以保留节点级个性化和图结构的方式，将特征交互建模与图消息传递相结合。
• 开发一种即插即用的框架，兼容多种图神经网络架构，适用于异构图和符号图等多种图类型。
• 证明特征交互感知能力在提升下游图学习任务中节点表征质量方面的有效性。

提出的方法

• 该框架采用消息聚合器，递归地压缩并传播来自局部邻域的原始节点特征。
• 特征分解器学习低维嵌入，以编码成对及更高阶的特征交互。
• 个性化注意力模块利用聚合特征作为查询，动态突出每个节点最相关的特征交互。
• 注意力机制通过端到端训练，根据任务相关性动态平衡不同特征交互的影响。
• 该框架模块化设计，兼容任意图神经网络架构，可无缝集成至 GCN、GAT 或 GraphSAGE 等模型中。
• 模型通过标准图学习目标（如节点分类的交叉熵损失和链接预测的负采样）进行端到端训练。

实验结果

研究问题

• RQ1 显式建模特征交互是否能提升高维稀疏图数据中的节点表征学习？
• RQ2 如何利用个性化注意力机制为每个节点动态选择最信息量的特征交互？
• RQ3 在多大程度上，引入特征交互能提升节点分类和链接预测任务的性能？
• RQ4 所提出的 FI-GNN 框架是否在不同图神经网络架构和图类型上具备泛化能力？
• RQ5 当应用于图结构化数据时，该模型与现有特征交互方法（如因子分解机）相比表现如何？

主要发现

• FI-GNNs 在包括 BlogCatalog 和 Cora 在内的四个真实世界数据集上，于节点分类和链接预测任务中均优于标准 GNN 模型（如 GCN 和 GAT）。
• 消融实验表明，移除个性化注意力模块会导致性能显著下降，证实其在突出信息丰富的特征交互方面的重要作用。
• FI-GCN-Con（缺乏个性化注意力机制）在性能上明显落后于 FI-GCN，验证了动态交互选择的重要性。
• t-SNE 可视化结果表明，FI-GNN 生成的类别簇更紧凑、更易分离，相较于 DeepWalk、node2vec 和 GCN，显示出更强的判别能力。
• 该框架在所有评估基准上均达到最先进性能，证明其在处理特征稀疏图方面的有效性。
• FI-GNNs 兼容多种 GNN 模型，可扩展至异构图和符号图，证实其即插即用的灵活性。