[論文レビュー] CaT: Balanced Continual Graph Learning with Graph Condensation

Yilun Liu, Ruihong Qiu+1 more|arXiv (Cornell University)|Sep 18, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、グラフ凝縮を用いてコンactで情報豊富なメモリバンク（凝縮グラフメモリ、CGM）を生成し、Training-in-Memory（TiM）戦略を採用することで、モデル更新のバランスを取る新しいフレームワークCaTを提案する。訓練中に大きな入力グラフを代替する凝縮された合成グラフを用いることで、データの不均衡と途切れの記憶を軽減し、ベンチマークデータセットで最先端の性能を達成するとともに、効率性も向上する。

ABSTRACT

Continual graph learning (CGL) is purposed to continuously update a graph model with graph data being fed in a streaming manner. Since the model easily forgets previously learned knowledge when training with new-coming data, the catastrophic forgetting problem has been the major focus in CGL. Recent replay-based methods intend to solve this problem by updating the model using both (1) the entire new-coming data and (2) a sampling-based memory bank that stores replayed graphs to approximate the distribution of historical data. After updating the model, a new replayed graph sampled from the incoming graph will be added to the existing memory bank. Despite these methods are intuitive and effective for the CGL, two issues are identified in this paper. Firstly, most sampling-based methods struggle to fully capture the historical distribution when the storage budget is tight. Secondly, a significant data imbalance exists in terms of the scales of the complex new-coming graph data and the lightweight memory bank, resulting in unbalanced training. To solve these issues, a Condense and Train (CaT) framework is proposed in this paper. Prior to each model update, the new-coming graph is condensed to a small yet informative synthesised replayed graph, which is then stored in a Condensed Graph Memory with historical replay graphs. In the continual learning phase, a Training in Memory scheme is used to update the model directly with the Condensed Graph Memory rather than the whole new-coming graph, which alleviates the data imbalance problem. Extensive experiments conducted on four benchmark datasets successfully demonstrate superior performances of the proposed CaT framework in terms of effectiveness and efficiency. The code has been released on https://github.com/superallen13/CaT-CGL.

研究の動機と目的

• リプレイベースの継続的グラフ学習（CGL）におけるデータの不均衡問題に対処すること。特に、大きな入力グラフが小さなリプレイグラフを上回るトレーニングを支配する問題。
• 限られたストレージ予算下で、サンプリングベースのメモリバンクの表現能力の限界を克服すること。
• 歴史的データと入力データの両方のトレーニングをバランスさせることで、モデルの安定性と性能を向上させること。
• アーキテクチャの変更なしに、既存のリプレイベースCGL手法を強化できる、プラグアンドプレイなソリューションを提案すること。

提案手法

• 新しい入力グラフを微分可能グラフ凝縮を用いて、小さな情報豊富な合成グラフに凝縮することで、動的に更新される凝縮グラフメモリ（CGM）を実現する。
• 全バッチ学習を入力グラフ上で行うのではなく、CGM上でのみ学習を行うTraining-in-Memory（TiM）スキームを採用し、最適化中にデータスケールのバランスを保証する。
• グラフ凝縮は、構造的および特徴的情報を最小限に損ないつつサイズを縮小するように、微分可能最適化により実行される。
• 既存のリプレイベースCGL手法にシームレスに統合され、プラグアンドプレイな拡張として機能する。
• 固定されたストレージ予算下でCGMを維持することで、計算およびメモリの効率性を確保する。
• GCN、SGCなどの複数のGNNエンコーダーと、CoraFull、Arxiv、Reddit、Productsなどの複数のデータセットを用いて評価され、堅牢性が確認された。

実験結果

リサーチクエスチョン

• RQ1 継続的グラフ学習において、大きな入力グラフを効果的に凝縮された合成グラフに置き換えることで、モデル性能を維持できるか？
• RQ2 CGMに限定して学習を行う（TiM）ことで、データの不均衡が緩和され、途切れの記憶が軽減されるか？
• RQ3 異なるストレージ予算下で、CaTの性能は既存のリプレイベースCGL手法と比べてどうなるか？
• RQ4 TiMスキームは、既存のリプレイベースCGLフレームワークに普遍的に適用可能か？
• RQ5 CaTの性能は、グラフエンコーダーやメモリ予算の選択にどれほど敏感か？

主な発見

• CaTは、すべての4つのベンチマークデータセット（CoraFull、Arxiv、Reddit、Products）において、タスク-ILおよびクラス-ILの両設定で最先端の性能を達成した。
• 0.01の予算比条件下で、Productsでは平均81.7%の性能を達成し、同じ条件下でSSM（74.6%）とER-GNN（42.8%）を顕著に上回った。
• TiMスキームは、すべての手法の平均性能を向上させた。例えば、RedditではSSMの性能がTiM導入後92.8%から92.8%に上昇した。一方、CGMにTiMを適用した場合、Productsでは81.7%の性能を達成した。
• 可視化結果から、CaTにTiMを適用することで、途切れの記憶が顕著に軽減され、タスク間での性能行列がより一貫性を持つことが示された。
• 異なるグラフエンコーダーにおいても、フレームワークは堅牢であった。GCNとSGCの両方とも高い結果を示したが、極めて低い予算条件下ではGCNがSGCをわずかに上回った。
• 広範なアブレーション実験により、CGMとTiMの両方が不可欠であることが確認された。いずれかを除去すると性能が低下し、両者の補完的役割が裏付けられた。