[論文レビュー] Continual Learning on Graphs: Challenges, Solutions, and Opportunities

Xikun Zhang, Dongjin Song+1 more|arXiv (Cornell University)|Feb 18, 2024

Advanced Graph Neural Networks被引用数 5

ひとこと要約

連続的グラフ学習（CGL）の包括的な総説で、タスク設定、方法（正則化、リプレイ、分離）、ベンチマーク、課題、そして将来の方向性を要約します。最新のCGLアルゴリズムのためのGitHubリポジトリも提供します。

ABSTRACT

Continual learning on graph data has recently attracted paramount attention for its aim to resolve the catastrophic forgetting problem on existing tasks while adapting the sequentially updated model to newly emerged graph tasks. While there have been efforts to summarize progress on continual learning research over Euclidean data, e.g., images and texts, a systematic review of progress in continual learning on graphs, a.k.a, continual graph learning (CGL) or lifelong graph learning, is still demanding. Graph data are far more complex in terms of data structures and application scenarios, making CGL task settings, model designs, and applications extremely challenging. To bridge the gap, we provide a comprehensive review of existing continual graph learning (CGL) algorithms by elucidating the different task settings and categorizing the existing methods based on their characteristics. We compare the CGL methods with traditional continual learning techniques and analyze the applicability of the traditional continual learning techniques to CGL tasks. Additionally, we review the benchmark works that are crucial to CGL research. Finally, we discuss the remaining challenges and propose several future directions. We will maintain an up-to-date GitHub repository featuring a comprehensive list of CGL algorithms, accessible at https://github.com/UConn-DSIS/Survey-of-Continual-Learning-on-Graphs.

研究の動機と目的

• ユークリッド空間と比較した場合のグラフデータにおける連続学習の固有の課題を明らかにする。
• 既存のCGL手法を学習パラダイム（正則化、メモリリプレイ、パラメータ分離）とタスク設定（ノード/グラフレベル、IL/Domain-IL/Class-IL）で分類する。
• 伝統的なCL手法のCGLへの適用可能性を分析し、グラフ特有の課題に対するギャップを特定する。
• CGL手法間の公正な比較を可能にするため、ベンチマーク研究と実験設定を要約する。
• 未解決の課題を論じ、CGL研究の将来の方向性を提案する。

提案手法

• グラフタイプ、粒度、増分設定にわたる既存のCGL文献の系統的レビュー。
• 手法を三つの主流に分類する：正則化ベース、メモリリプレイベース、パラメータ分離ベースのアプローチ。
• 従来の連続学習技術がCGLに適用される方法と、グラフのトポロジーが制限を課す箇所の分析。
• 公正な手法評価のためのベンチマーク研究と実験設定の作成と議論。
• 将来の方向性の提案と、継続的なCGL追跡のためのGitHubリポジトリによる保守計画。

実験結果

リサーチクエスチョン

• RQ1 連続グラフ学習（CGL）でよく用いられるタスク設定と評価指標は何ですか？
• RQ2 正則化、メモリリプレイ、パラメータ分離戦略はグラフ構造データにどのように適用されますか？
• RQ3 CGLを動的グラフ学習とFew-shotグラフ学習と区別する主な課題は何ですか？
• RQ4 CGLのベンチマークは何が存在し、どのように手法間の公正な比較を可能にしますか？
• RQ5 CGL研究の残されたギャップを埋める将来の方向性は何ですか？

主な発見

• CGL手法はグラフタイプ、タスクの粒度、増分設定（タスク-IL、ドメイン-IL、クラス-IL）のために異質です。
• 正則化、メモリリプレイ、パラメータ分離の3つの主流の方法論的潮流が、連続学習中のグラフトポロジーを保持するよう適応されます。
• トポロジー・構造を保持する正則化（例：TWP）とグラフ認識蒸留技術が主要な発展です。
• CGL手法間の公正な比較と実験設定の標準化に向けたベンチマークの取り組みが出現しています。
• 本論文は残された課題を強調し、理論、ベンチマーク、実践全体にわたる有望な将来の方向性を概説します。