[论文解读] CaT: Balanced Continual Graph Learning with Graph Condensation

Yilun Liu, Ruihong Qiu+1 more|arXiv (Cornell University)|Sep 18, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出CaT，一种用于平衡持续图学习的新框架，通过图蒸馏技术创建紧凑且信息丰富的记忆库（凝聚图记忆，CGM），并采用记忆内训练（TiM）策略以平衡模型更新。通过在训练过程中用凝聚的合成图替代大型输入图，CaT缓解了数据不平衡和灾难性遗忘问题，在基准数据集上实现了最先进性能，同时提升了效率。

ABSTRACT

Continual graph learning (CGL) is purposed to continuously update a graph model with graph data being fed in a streaming manner. Since the model easily forgets previously learned knowledge when training with new-coming data, the catastrophic forgetting problem has been the major focus in CGL. Recent replay-based methods intend to solve this problem by updating the model using both (1) the entire new-coming data and (2) a sampling-based memory bank that stores replayed graphs to approximate the distribution of historical data. After updating the model, a new replayed graph sampled from the incoming graph will be added to the existing memory bank. Despite these methods are intuitive and effective for the CGL, two issues are identified in this paper. Firstly, most sampling-based methods struggle to fully capture the historical distribution when the storage budget is tight. Secondly, a significant data imbalance exists in terms of the scales of the complex new-coming graph data and the lightweight memory bank, resulting in unbalanced training. To solve these issues, a Condense and Train (CaT) framework is proposed in this paper. Prior to each model update, the new-coming graph is condensed to a small yet informative synthesised replayed graph, which is then stored in a Condensed Graph Memory with historical replay graphs. In the continual learning phase, a Training in Memory scheme is used to update the model directly with the Condensed Graph Memory rather than the whole new-coming graph, which alleviates the data imbalance problem. Extensive experiments conducted on four benchmark datasets successfully demonstrate superior performances of the proposed CaT framework in terms of effectiveness and efficiency. The code has been released on https://github.com/superallen13/CaT-CGL.

研究动机与目标

• 为解决基于重放的持续图学习（CGL）中的数据不平衡问题，即大型输入图在训练中主导小型重放图的问题。
• 克服在严格存储预算下基于采样的记忆库表示能力有限的问题。
• 通过平衡历史数据与输入数据之间的训练，提升模型稳定性和性能。
• 提出一种即插即用的解决方案，无需架构修改即可增强现有基于重放的CGL方法。

提出的方法

• 通过可微图蒸馏，将每个新输入图动态凝聚为小型、信息丰富的合成图，以更新凝聚图记忆（CGM）。
• 采用记忆内训练（TiM）方案，以在CGM上的训练替代在输入图上的全批量训练，确保优化过程中数据规模的平衡。
• 通过可微优化应用图蒸馏，以在最小化大小的同时保留结构和特征信息。
• 该框架可无缝集成至现有基于重放的CGL方法中，作为即插即用的增强模块。
• 在固定存储预算下维护CGM，确保计算与内存效率。
• 在多种GNN编码器（GCN、SGC）和数据集（CoraFull、Arxiv、Reddit、Products）上进行了评估，验证了其鲁棒性。

实验结果

研究问题

• RQ1 图蒸馏是否能有效替代持续图学习中的大型输入图，同时保持模型性能？
• RQ2 仅在凝聚记忆库上训练（TiM）是否能缓解数据不平衡并减少灾难性遗忘？
• RQ3 在不同存储预算下，CaT的性能与现有基于重放的CGL方法相比如何？
• RQ4 TiM方案是否可普遍应用于增强现有基于重放的CGL框架？
• RQ5 CaT的性能对图编码器和记忆预算的选择有多敏感？

主要发现

• CaT在所有四个基准数据集（CoraFull、Arxiv、Reddit、Products）上，无论在任务-IL还是类别-IL设置下，均实现了最先进性能。
• 在0.01的预算比例下，CaT在Products数据集上实现了81.7%的平均性能，显著优于SSM（74.6%）和ER-GNN（42.8%）的相同条件。
• TiM方案提升了所有方法的平均性能：例如，SSM在Reddit上的性能从92.8%提升至92.8%（使用TiM），而CGM结合TiM在Products上达到81.7%。
• 可视化结果表明，CaT结合TiM显著减少了灾难性遗忘，表现为跨任务的性能矩阵更加一致。
• 该框架在不同图编码器上表现稳健：GCN和SGC均取得优异结果，且在极低预算条件下GCN略优于SGC。
• 大量消融实验确认，CGM与TiM均不可或缺；移除任一模块均导致性能下降，验证了其互补作用。