[论文解读] A Survey of Few-Shot Learning on Graphs: from Meta-Learning to Pre-Training and Prompt Learning

Xingtong Yu, Yuan Fang+6 more|arXiv (Cornell University)|Feb 2, 2024

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本综述对图上的少样本学习进行了全面、系统的回顾，将现有方法分类为元学习、预训练和混合方法。它提供了一个细粒度的分类体系，比较了每种范式的优缺点，并指出了在可扩展性、复杂图结构以及图基础模型方面的未来研究方向。

ABSTRACT

Graph representation learning, a critical step in graph-centric tasks, has seen significant advancements. Earlier techniques often operate in an end-to-end setting, which heavily rely on the availability of ample labeled data. This constraint has spurred the emergence of few-shot learning on graphs, where only a few labels are available for each task. Given the extensive literature in this field, this survey endeavors to synthesize recent developments, provide comparative insights, and identify future directions. We systematically categorize existing studies based on two major taxonomies: (1) Problem taxonomy, which explores different types of data scarcity problems and their applications, and (2) Technique taxonomy, which details key strategies for addressing these data-scarce few-shot problems. The techniques can be broadly categorized into meta-learning, pre-training, and hybrid approaches, with a finer-grained classification in each category to aid readers in their method selection process. Within each category, we analyze the relationships among these methods and compare their strengths and limitations. Finally, we outline prospective directions for few-shot learning on graphs to catalyze continued innovation in this field. The website for this survey can be accessed by \url{https://github.com/smufang/fewshotgraph}.

研究动机与目标

• 为解决图机器学习中标签数据有限的挑战，系统综述图上少样本学习的最新进展。
• 为图上少样本学习方法提供系统性分类体系，将其划分为元学习、预训练和混合方法。
• 比较各类方法的优势与局限性，为实际应用中的方法选择提供指导。
• 识别开放性挑战并提出未来研究方向，包括大规模、复杂及跨领域图上的少样本学习。
• 通过探讨图基础模型和少样本图学习中可解释性的潜力，激发创新。

提出的方法

• 本综述将现有图上少样本学习方法划分为三大类：元学习、预训练和混合方法。
• 针对元学习，分析了如MAML和原型网络等方法，这些方法通过在任务分布上进行元训练，学习一种通用的适应过程。
• 针对预训练，回顾了对比学习和图自编码器等自监督技术，这些技术在无标签数据上优化图编码器。
• 混合方法被分析为整合元学习与预训练，以同时利用有标签的元任务和无标签图数据，实现更鲁棒的适应。
• 综述基于方法在任务间泛化能力、可扩展性以及向新类别迁移的能力方面进行评估。
• 在每一类内部采用细粒度分类，以帮助研究人员为特定图学习任务选择合适技术。

实验结果

研究问题

• RQ1 如何对图上的少样本学习进行系统性分类，以提升方法选择与理解？
• RQ2 元学习、预训练和混合方法在少样本图学习中的关键差异、优势与局限性是什么？
• RQ3 在大规模、复杂及跨领域图上应用少样本学习仍面临哪些挑战？
• RQ4 如何提升少样本图学习模型的可解释性，特别是针对潜在空间提示的黑箱特性？
• RQ5 图基础模型在提升跨多样化图结构和任务类型的迁移能力方面可能发挥什么作用？

主要发现

• 如MAML和原型网络等元学习方法通过在任务分布上进行元训练，学习一种通用的适应过程，从而实现仅用少量标签样本即可快速适应新任务。
• 如GraphSAGE和GAE等预训练方法通过在无标签数据上进行自监督掩码任务学习图表示，随后在下游少样本任务上进行微调。
• 结合元学习与预训练的混合方法通过同时利用无标签数据和任务特定标注，展现出更优的性能，实现更鲁棒的适应。
• 在大规模图上进行少样本学习仍是一个重大挑战，主要源于计算效率低下，以及对可扩展、局部感知适应策略的迫切需求。
• 对于3D、多模态和动态等复杂图结构，现有方法在同质和静态图假设基础上难以适用，亟需新的方法论框架。
• 图基础模型——即在大规模、多样化图数据上预训练的模型——在提升跨领域和跨任务类型的迁移能力方面具有巨大潜力，包括回归和图生成任务。