[论文解读] GRATIS: Deep Learning Graph Representation with Task-specific Topology and Multi-dimensional Edge Features

Siyang Song, Yuxin Song+8 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

GRATIS 是一种新颖的即插即用框架，通过联合学习节点与全局上下文，从任意输入数据（无论是预定义图还是非图数据）中学习特定任务的图拓扑结构和多维边特征。该框架通过生成自适应、互补的表示，显著提升了图分类、节点分类和链接预测任务的性能，在11个数据集上优于固定拓扑结构和单特征基线方法。

ABSTRACT

Graph is powerful for representing various types of real-world data. The topology (edges' presence) and edges' features of a graph decides the message passing mechanism among vertices within the graph. While most existing approaches only manually define a single-value edge to describe the connectivity or strength of association between a pair of vertices, task-specific and crucial relationship cues may be disregarded by such manually defined topology and single-value edge features. In this paper, we propose the first general graph representation learning framework (called GRATIS) which can generate a strong graph representation with a task-specific topology and task-specific multi-dimensional edge features from any arbitrary input. To learn each edge's presence and multi-dimensional feature, our framework takes both of the corresponding vertices pair and their global contextual information into consideration, enabling the generated graph representation to have a globally optimal message passing mechanism for different down-stream tasks. The principled investigation results achieved for various graph analysis tasks on 11 graph and non-graph datasets show that our GRATIS can not only largely enhance pre-defined graphs but also learns a strong graph representation for non-graph data, with clear performance improvements on all tasks. In particular, the learned topology and multi-dimensional edge features provide complementary task-related cues for graph analysis tasks. Our framework is effective, robust and flexible, and is a plug-and-play module that can be combined with different backbones and Graph Neural Networks (GNNs) to generate a task-specific graph representation from various graph and non-graph data. Our code is made publicly available at https://github.com/SSYSteve/Learning-Graph-Representation-with-Task-specific-Topology-and-Multi-dimensional-Edge-Features.

研究动机与目标

• 解决现有图表示学习方法中固定、手动定义的图拓扑结构和单值边特征的局限性。
• 实现从任意输入（包括图像或序列等非图数据）中进行特定任务的自适应图构建。
• 通过联合学习拓扑结构和编码任务相关关系的丰富多维边特征，提升下游图分析任务的性能。
• 提供一种可泛化、鲁棒且灵活的框架，可与多种图神经网络主干网络集成，并适用于多样化数据类型。
• 证明特定任务的拓扑结构与多维边特征在图学习任务中具有互补性且对最优性能至关重要。

提出的方法

• 图定义模块使用预定义或学习得到的节点表示，从输入数据构建初始原始图。
• 特定任务拓扑预测（TTP）模块利用节点特征和全局上下文，学习基于概率的邻接矩阵，实现对任务自适应的边存在性预测。
• TTP 模块还为非图数据生成特定任务的节点特征，以指导最终拓扑结构并提升表示质量。
• 多维边特征生成（MEFG）模块使用可学习网络，为每对相连的节点生成特定任务的多维边特征。
• 该框架可与任意图神经网络主干网络集成，并通过交叉熵损失和对比损失进行端到端训练，联合优化拓扑结构与边特征。
• 最终图表示通过组合学习到的拓扑结构和多维边特征形成，作为下游图神经网络在分类或预测任务中的输入。

实验结果

研究问题

• RQ1 是否存在一种统一框架，能够从任意输入数据（包括非图数据）中学习特定任务的图拓扑结构和多维边特征？
• RQ2 在图分析任务中，特定任务的拓扑结构与多维边特征相较于固定拓扑结构和单值边特征，在性能上表现如何？
• RQ3 所学习到的拓扑结构与多维边特征在提升下游任务准确率方面，其互补程度如何？
• RQ4 该框架对超参数（如节点数量或缩放因子 C）的变化具有多大程度的鲁棒性？
• RQ5 该框架能否与多种图神经网络主干网络有效结合，并在多样化数据集和任务中持续提升性能？

主要发现

• GRATIS 在11个数据集的图分类、节点分类和链接预测任务中均持续提升性能，相较于固定拓扑结构和单特征基线方法有显著优势。
• 特定任务拓扑结构与多维边特征的结合实现了最佳性能，证明二者在编码任务相关线索方面具有显著互补性。
• 框架在不同 C 值下表现稳定（在 BP4D 和 DISFA 数据集上 F1 分数变化小于3%），表明对超参数设置具有鲁棒性。
• 多维边特征优于单维边特征，证实其在捕捉节点间复杂、特定任务关系方面的重要性。
• GRATIS 在多种图神经网络主干网络和预测器上均提升性能，展现出其对现有图神经网络架构的泛化能力与兼容性。
• 该框架在非图数据（如面部动作单元）上也表现出色，其学习到的图表示优于使用固定拓扑结构和单值特征的现有方法。