[論文レビュー] Continual Graph Learning: A Survey

Qiao Yuan, Sheng-Uei Guan+5 more|arXiv (Cornell University)|Jan 28, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本調査は、進化するグラフ構造データにおける段階的学習のための新しいパラダイムである継続的グラフ学習（CGL）を紹介する。CGLは、正則化、リプレイ、アーキテクチャベースの手法を用いて、深刻な忘却を緩和する。グラフ構造の影響により生じる、サンプルレベルおよびグラフレベルの依存性という2つの特異な課題を特定し、動的グラフ応用分野におけるCGLアプローチ、ベンチマーク、未解決問題について包括的なレビューを提供する。

ABSTRACT

Research on continual learning (CL) mainly focuses on data represented in the Euclidean space, while research on graph-structured data is scarce. Furthermore, most graph learning models are tailored for static graphs. However, graphs usually evolve continually in the real world. Catastrophic forgetting also emerges in graph learning models when being trained incrementally. This leads to the need to develop robust, effective and efficient continual graph learning approaches. Continual graph learning (CGL) is an emerging area aiming to realize continual learning on graph-structured data. This survey is written to shed light on this emerging area. It introduces the basic concepts of CGL and highlights two unique challenges brought by graphs. Then it reviews and categorizes recent state-of-the-art approaches, analyzing their strategies to tackle the unique challenges in CGL. Besides, it discusses the main concerns in each family of CGL methods, offering potential solutions. Finally, it explores the open issues and potential applications of CGL.

研究の動機と目的

• ユークリッド空間データと比較して、グラフ構造データに注目した継続的学習研究のギャップを埋めるため。
• CGLにおける2つの特異な課題を特定・形式化する：サンプルレベルの依存性（ノード接続性）とグラフレベルの依存性（グラフ構造の時間的進化）。
• 最先端のCGL手法を正則化ベース、リプレイベース、アーキテクチャベースの3つのファミリーに体系的に分類・分析する。
• 各ファミリーにおける主な懸念事項、すなわちトポロジー情報の保持、サンプリング戦略、パラメータの分離を議論する。
• CGLの未解決課題と、交通網、ソーシャルネットワーク、金融システムなどの分野における応用可能性を検討する。

提案手法

• CGLの理論的基盤を確立するため、継続的学習（CL）とグラフ学習（GL）の基礎を再点検する。
• CLのパラダイムに基づくCGL手法の分類体系を提案する：正則化、リプレイ、アーキテクチャの適応。この分類体系はグラフ構造に適合させられている。
• グラフレベルおよびサンプルレベルの依存性をコアな課題として導入する。前者は進化するグラフトポロジーに起因し、後者はノード間の相互依存性に起因する。
• 既存のCGL手法がトポロジー情報をどのように符号化しているかを分析する。例として、異種グラフにおけるメタパスや、相互作用の重要度を表す隣接行列の正規化を挙げる。
• リプレイ戦略は、効果的なメモリサンプリングのため、グラフ構造を活用すべきであると提言する。また、正則化は構造的不変量を保持すべきである。
• アーキテクチャ手法では、パラメータの分離を指導する際に、グラフトポロジーが果たす役割を評価すべきであると提言する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCLパラダイムを超えて、グラフ構造データが継続的学習にもたらす特異な課題は何か？
• RQ2 サンプルレベルおよびグラフレベルの依存性は、進化するグラフにおける知識保持と深刻な忘却にどのように影響を与えるか？
• RQ3 既存のCGL手法は、グラフトポロジーを保持するように、標準的なCL戦略（正則化、リプレイ、アーキテクチャ）をどの程度適応しているか？
• RQ4 現在のCGLベンチマークと評価指標は、現実のグラフダイナミクスをどの程度的確に捉えているのか？その主な制限は何か？
• RQ5 CGLの最も有望な応用分野は何か。また、それらの分野はモデル設計にどのような具体的な課題をもたらすか？

主な発見

• 進化するグラフ上で段階的に学習する際、深刻な忘却は、標準的なCLと同様に深刻な問題である。
• グラフ構造データは、ノード接続性に起因するサンプルレベルの依存性と、時間的グラフ進化に起因するグラフレベルの依存性という、2つの新しい課題をもたらす。
• 現在の大多数のCGL手法は、トポロジー構造を考慮せずに、標準的なCL技術をグラフに単純に適用しているため、最適なパフォーマンスに至らない。
• 正則化ベースのCGL手法は、特徴表現の保持に加え、ノードの近接性や部分グラフ構造といったトポロジー不変量も保持すべきである。
• リプレイベースの手法は、グラフ構造を活用してメモリサンプリングを最適化することで強化できる。特に、構造的に重要なノードや部分グラフを優先的に選択すべきである。
• CGLにおけるアーキテクチャ手法は、パラメータの分離を決定する際に、グラフトポロジーの役割を考慮すべきである。