[论文解读] Lifelong Graph Learning

Chen Wang, Yuheng Qiu+2 more|arXiv (Cornell University)|Sep 1, 2020

Advanced Graph Neural Networks参考文献 65被引用 9

一句话总结

本文提出特征图网络（FGN），一种新颖的图拓扑结构，通过将节点特征视为新图中的节点，将流式图中的节点分类问题转化为图分类问题，从而使得卷积神经网络（CNN）中的持续学习技术可被应用于图神经网络（GNN）。FGN在持续学习基准测试及人类动作识别、图像特征匹配等应用中表现优异，在TartanAir数据集上相较GAT实现24.2%的误差降低。

ABSTRACT

Graph neural networks (GNN) are powerful models for many graph-structured tasks. Existing models often assume that the complete structure of the graph is available during training. In practice, however, graph-structured data is usually formed in a streaming fashion so that learning a graph continuously is often necessary. In this paper, we bridge GNN and lifelong learning by converting a continual graph learning problem to a regular graph learning problem so GNN can inherit the lifelong learning techniques developed for convolutional neural networks (CNN). We propose a new topology, the feature graph, which takes features as new nodes and turns nodes into independent graphs. This successfully converts the original problem of node classification to graph classification. In the experiments, we demonstrate the efficiency and effectiveness of feature graph networks (FGN) by continuously learning a sequence of classical graph datasets. We also show that FGN achieves superior performance in two applications, i.e., lifelong human action recognition with wearable devices and feature matching. To the best of our knowledge, FGN is the first method to bridge graph learning and lifelong learning via a novel graph topology. Source code is available at https://github.com/wang-chen/LGL

研究动机与目标

• 为解决图结构随时间逐步增长的持续图学习挑战，特别是在流式数据场景下。
• 克服图神经网络在持续学习过程中因引入新数据而导致旧知识丢失的灾难性遗忘问题。
• 通过重构学习问题，使成熟的CNN持续学习技术能够有效应用于GNN。
• 显式建模节点与时间步之间的特征交互，这对动作识别与特征匹配等任务至关重要。
• 开发一种计算复杂度恒定的方法，能够随图规模与学习任务的增加而高效扩展。

提出的方法

• 提出一种名为特征图的新图拓扑结构，其中节点特征作为新图中的节点，原始节点则作为独立图，从而将节点分类转化为图分类。
• 利用节点特征与其邻居特征之间的互相关性构建特征邻接矩阵，以建模特征交互。
• 在特征图上使用图神经网络执行图级别预测，支持小批量训练，并与持续学习方法兼容。
• 在FGN框架中应用标准的持续学习技术，如知识蒸馏、EWC与MAS，以实现持续学习。
• 通过将基于GAT的匹配器替换为FGN架构，将FGN集成到SuperGlue等现有框架中，用于图像特征匹配。
• 采用两层特征广播机制与基于注意力的边权重，定义特征图中的边特征。

实验结果

研究问题

• RQ1 图神经网络能否在图结构随时间动态增长的流式图环境中，实现持续学习？
• RQ2 在持续图学习框架中，如何显式建模节点与时间步之间的特征交互？
• RQ3 能否通过图学习问题的结构重构，将为CNN开发的持续学习技术有效迁移至GNN？
• RQ4 所提出的特征图拓扑结构在图规模与学习任务增加时，是否能保持恒定的计算复杂度？
• RQ5 FGN能否在持续学习基准测试及人类动作识别、特征匹配等实际应用中超越现有GNN？

主要发现

• 在TartanAir数据集上，FGN相较GAT实现24.2%的平均匹配误差降低，尤其在Outdoors与Hard等高难度类别中提升最为显著。
• 在特征匹配任务中，FGN显著提升了亚像素级精度，尤其在更高误差容忍度下，表明其能更准确识别高质量匹配。
• 在持续学习评估中，FGN在所有类别中均表现出最低的遗忘率，最佳性能与最终性能之间的下降幅度最小。
• 尽管图规模与学习任务不断增加，该方法仍保持恒定的计算复杂度，支持高效持续训练。
• 在人类动作识别任务中，FGN在数据增量与类别增量两种设置下均优于基线模型，展现出对概念漂移的强鲁棒性。
• 特征图拓扑成功将节点分类转化为图分类，首次实现了将基于CNN的持续学习技术应用于GNN。