[论文解读] Data-centric Graph Learning: A Survey

Yuxin Guo, Deyu Bo+6 more|arXiv (Cornell University)|Oct 8, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本综述提出了一种以数据为中心的图学习框架，按学习阶段（预处理、训练、推理）和数据结构（拓扑、特征、标签）对方法进行分类。它提出了一种新颖的分类法，以指导何时以及如何修改图数据以提升模型性能，同时通过以数据为中心的解决方案解决偏差、噪声和异配性等问题。

ABSTRACT

The history of artificial intelligence (AI) has witnessed the significant impact of high-quality data on various deep learning models, such as ImageNet for AlexNet and ResNet. Recently, instead of designing more complex neural architectures as model-centric approaches, the attention of AI community has shifted to data-centric ones, which focuses on better processing data to strengthen the ability of neural models. Graph learning, which operates on ubiquitous topological data, also plays an important role in the era of deep learning. In this survey, we comprehensively review graph learning approaches from the data-centric perspective, and aim to answer three crucial questions: (1) when to modify graph data, (2) what part of the graph data needs modification to unlock the potential of various graph models, and (3) how to safeguard graph models from problematic data influence. Accordingly, we propose a novel taxonomy based on the stages in the graph learning pipeline, and highlight the processing methods for different data structures in the graph data, i.e., topology, feature and label. Furthermore, we analyze some potential problems embedded in graph data and discuss how to solve them in a data-centric manner. Finally, we provide some promising future directions for data-centric graph learning.

研究动机与目标

• 为应对图学习中日益增长的以数据为中心的方法需求，将关注点从模型架构转向数据质量和处理。
• 识别在图学习流程的哪个阶段（预处理、训练、推理）应修改数据以实现最优模型性能。
• 确定图数据的哪些组件——拓扑、特征或标签——应被修改，以释放图神经网络的全部潜力。
• 通过以数据为中心的策略减轻噪声、偏差或异配性图等不良数据的影响。
• 提出未来在图数据与模型协同开发方面的方向，强调标准化、持续学习和协作设计。

提出的方法

• 基于图学习流程的阶段（预处理、训练、推理）提出一种新颖的分类法，以指导数据修改决策。
• 按数据结构（拓扑、特征、标签）对以数据为中心的方法进行分类，为每类提供针对性的处理策略。
• 引入数据增强、图结构学习和特征/标签优化作为核心技术，以提升数据质量和模型鲁棒性。
• 应用无监督和自监督方法检测并缓解图数据中的选择偏差、不公平性和虚假相关性。
• 利用模型预测结果迭代优化图数据，实现持续学习和数据演化。
• 通过集成设计提出图数据与模型的协同开发，以GraphStorm等框架为实例。

实验结果

研究问题

• RQ1 在图学习流程的哪个阶段应修改图数据以最大化模型性能？
• RQ2 图数据的哪些组件——拓扑、特征或标签——最显著地影响图模型的表征能力？
• RQ3 以数据为中心的方法如何保护图模型免受现实图中噪声、偏差和异配性的影响？
• RQ4 持续学习和模型反馈在随时间推移优化图数据方面发挥什么作用？
• RQ5 如何在以数据为中心的范式下协同开发图数据与模型，以实现相互优化？

主要发现

• 以数据为中心的方法通过聚焦于数据质量而非模型复杂度，显著提升了图神经网络的性能。
• 通过结构学习或数据增强修改图拓扑，可增强模型的泛化能力，尤其在异配图中表现更优。
• 特征和标签优化技术可减轻噪声或偏差数据的影响，提升模型的公平性和鲁棒性。
• 无监督和自监督方法可检测并缓解节点表征中的选择偏差和虚假相关性。
• 利用模型预测结果优化图数据的持续学习框架，可实现自适应且动态演化的数据处理流程。
• 如GraphStorm所示，数据与模型的协同开发可带来更高效、更有效的图学习系统。