[论文解读] A Survey of Imbalanced Learning on Graphs: Problems, Techniques, and Future Directions

Zemin Liu, Yuan Li+4 more|arXiv (Cornell University)|Aug 26, 2023

Imbalanced Data Classification Techniques被引用 6

一句话总结

本综述全面回顾了图上的不平衡学习（ILoGs），提出了两个统一的分类体系——问题分类法（节点、边和图层面的类别不平衡与结构不平衡）和技术分类法（数据级、模型级和损失级方法）。它识别出关键挑战，回顾了现有解决方案，并提出了未来研究方向，涵盖基准测试、合成数据生成以及面向数据不平衡场景的图学习基础模型。

ABSTRACT

Graphs represent interconnected structures prevalent in a myriad of real-world scenarios. Effective graph analytics, such as graph learning methods, enables users to gain profound insights from graph data, underpinning various tasks including node classification and link prediction. However, these methods often suffer from data imbalance, a common issue in graph data where certain segments possess abundant data while others are scarce, thereby leading to biased learning outcomes. This necessitates the emerging field of imbalanced learning on graphs, which aims to correct these data distribution skews for more accurate and representative learning outcomes. In this survey, we embark on a comprehensive review of the literature on imbalanced learning on graphs. We begin by providing a definitive understanding of the concept and related terminologies, establishing a strong foundational understanding for readers. Following this, we propose two comprehensive taxonomies: (1) the problem taxonomy, which describes the forms of imbalance we consider, the associated tasks, and potential solutions; (2) the technique taxonomy, which details key strategies for addressing these imbalances, and aids readers in their method selection process. Finally, we suggest prospective future directions for both problems and techniques within the sphere of imbalanced learning on graphs, fostering further innovation in this critical area.

研究动机与目标

• 为应对图机器学习中日益严峻的数据不平衡问题，即高资源组与低资源组在性能上存在显著偏差。
• 通过引入问题与技术的系统性分类体系，统一碎片化的图上不平衡学习（ILoGs）文献。
• 识别出尚未充分探索的研究方向，如边层面和图层面的不平衡，以及超越节点度的结构相关不平衡。
• 通过根据不平衡类型与解决方案策略对方法进行分类，指导研究人员选择合适的技术。
• 提出未来研究方向，包括统一基准、基于扩散模型的合成数据，以及将基础模型整合到文本增强的图学习中以应对低资源场景。

提出的方法

• 提出一种问题分类法，将图上的不平衡学习分为两类主要类型：类别不平衡（在节点、边和图层面）与结构不平衡（如节点度、广义节点度、图大小变化等）。
• 引入一种技术分类法，将方法划分为数据级（如过采样、欠采样）、模型级（如注意力机制、图增强）和损失级（如焦点损失、类别感知加权）策略。
• 回顾这些类别中的现有技术，分析其在节点分类、链接预测和图分类任务中缓解数据不平衡导致偏差的有效性。
• 分析将视觉和自然语言处理领域的技术直接迁移至图数据的局限性，原因在于图数据具有非独立同分布（non-i.i.d.）和结构依赖性特征。
• 强调需要任务特定的解决方案，特别是在分子图和知识图应用中，少样本链接预测与零样本图分类任务尤为关键。
• 讨论新兴技术，如基于扩散模型的合成数据生成，以及基础模型（如GPT）在低资源场景下实现文本增强图学习的应用前景。

Figure 1 : This timeline showcases the representative research literature on ILoGs in relation to our taxonomies, i.e. , Problems and Techniques. The total number of research works for each year is also displayed, illustrating an upward trend.

实验结果

研究问题

• RQ1 图结构化数据中的数据不平衡有哪些独特形式？它们与表格数据、视觉或自然语言处理场景中的不平衡有何不同？
• RQ2 鉴于图数据具有独特的结构依赖性，如何系统性地对现有不平衡学习技术进行分类并适配于图学习？
• RQ3 在不平衡图学习中，哪些关键研究问题尚未被充分探索，特别是边层面和图层面的不平衡问题？
• RQ4 如何利用扩散模型和基础模型等新技术提升低资源图组的性能？
• RQ5 统一的基准和排行榜在推动不平衡图学习研究的可复现性与进展方面能发挥何种作用？

主要发现

• 图学习中的类别不平衡研究主要集中在节点层面，但边层面和图层面的任务——尤其是少样本链接预测与不平衡图分类——仍研究不足。
• 结构不平衡（如节点度或广义结构上下文的变化）显著影响模型性能，但在当前方法中常被忽视。
• 现有技术大多局限于节点层面任务，极少方法将图大小变化或结构异质性视为不平衡的来源。
• 跨分支技术探索（如将数据级方法应用于模型级问题）展现出潜力，但在现有文献中尚未被充分应用。
• 利用扩散模型生成合成数据，为平衡低资源组提供了一种可行替代方案，尤其在分子图和知识图应用中表现突出。
• 缺乏统一的基准和排行榜严重制约研究进展，亟需建立标准化评估框架，以实现公平比较与研究可复现性。

Figure 2 : Imbalanced learning on graphs: imbalanced graph resource distribution results in imbalanced outcomes.