[论文解读] Continual Graph Learning: A Survey

Qiao Yuan, Sheng-Uei Guan+5 more|arXiv (Cornell University)|Jan 28, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本综述介绍了持续图学习（CGL），这是一种针对动态图结构数据的增量学习新范式，通过正则化、回放和基于架构的方法缓解灾难性遗忘。它识别出由于图拓扑结构带来的两个独特挑战——样本级依赖和图级依赖，并对CGL方法、基准测试及动态图应用中的开放问题提供了全面综述。

ABSTRACT

Research on continual learning (CL) mainly focuses on data represented in the Euclidean space, while research on graph-structured data is scarce. Furthermore, most graph learning models are tailored for static graphs. However, graphs usually evolve continually in the real world. Catastrophic forgetting also emerges in graph learning models when being trained incrementally. This leads to the need to develop robust, effective and efficient continual graph learning approaches. Continual graph learning (CGL) is an emerging area aiming to realize continual learning on graph-structured data. This survey is written to shed light on this emerging area. It introduces the basic concepts of CGL and highlights two unique challenges brought by graphs. Then it reviews and categorizes recent state-of-the-art approaches, analyzing their strategies to tackle the unique challenges in CGL. Besides, it discusses the main concerns in each family of CGL methods, offering potential solutions. Finally, it explores the open issues and potential applications of CGL.

研究动机与目标

• 为解决持续学习研究中针对图结构数据的空白，该领域相较于欧几里得数据仍处于未充分探索状态。
• 识别并形式化CGL中的两个独特挑战：样本级依赖（节点连接性）与图级依赖（图结构的时间演化）。
• 系统性地将最先进的CGL方法分类并分析为基于正则化、基于回放和基于架构的三类。
• 讨论各类方法中的关键问题，包括拓扑信息保持、采样策略及参数隔离。
• 探讨CGL在交通网络、社交网络和金融系统等领域的开放问题与潜在应用。

提出的方法

• 回顾持续学习（CL）与图学习（GL）的基础理论，为CGL建立理论基础。
• 基于CL范式（正则化、回放、架构适应）提出CGL方法的分类体系，并适配至图结构。
• 提出图级依赖与样本级依赖为核心挑战：前者源于图拓扑的演化，后者源于节点间的相互依赖。
• 分析现有CGL方法如何编码拓扑信息——例如，在异质图中通过元路径，或通过邻接矩阵归一化来表示交互重要性。
• 提出回放策略应利用图结构以实现有效的内存采样，正则化方法应保留结构不变量。
• 建议架构方法应基于图拓扑评估参数重要性，以指导参数隔离。

实验结果

研究问题

• RQ1 图结构数据在持续学习中引入了哪些独特挑战，超越了标准CL范式？
• RQ2 样本级依赖与图级依赖如何影响演化图中的知识保留与灾难性遗忘？
• RQ3 现有CGL方法在多大程度上将标准CL策略（正则化、回放、架构）适配以保留图拓扑？
• RQ4 当前CGL基准测试与评估指标在捕捉现实世界图动态方面存在哪些关键局限？
• RQ5 CGL最具前景的应用领域是什么，这些领域对模型设计提出了哪些具体挑战？

主要发现

• 在对演化图进行增量训练时，灾难性遗忘在图学习中同样是关键问题，与标准CL中的情况一致。
• 图结构数据引入了两个新颖挑战：样本级依赖（源于节点连接性）与图级依赖（源于图结构的时间演化）。
• 大多数现有CGL方法简单地将标准CL技术应用于图结构，而未考虑拓扑结构，导致性能次优。
• 基于正则化的CGL方法应保留拓扑不变量（如节点邻近性或子图结构），而不仅限于特征表示。
• 基于回放的方法可通过利用图拓扑指导内存采样来增强性能，优先选择结构上重要的节点或子图。
• CGL中的架构方法应考虑图拓扑在确定哪些参数需隔离或保护方面的作用，以指导增量学习过程。