[論文レビュー] Self-Supervised Continual Graph Learning in Adaptive Riemannian Spaces

Li Sun, Junda Ye+3 more|arXiv (Cornell University)|Nov 30, 2022

Medical Imaging and Analysis被引用数 5

ひとこと要約

本稿では、適応的リーマン空間における自己教師付き継続的グラフ学習フレームワークである RieGrace を提案する。適応的リーマンGCN（AdaRGCN）を導入し、各到着するグラフに対して曲率を動的に調整する CurvNet モジュールを備え、ラベルなし Lorentz 蒸留法を用いてラベルなしで知識蒸留を実現する。これにより、ベンチマークデータセットで最先端の性能を達成するとともに、深刻な忘却を軽減する。

ABSTRACT

Continual graph learning routinely finds its role in a variety of real-world applications where the graph data with different tasks come sequentially. Despite the success of prior works, it still faces great challenges. On the one hand, existing methods work with the zero-curvature Euclidean space, and largely ignore the fact that curvature varies over the coming graph sequence. On the other hand, continual learners in the literature rely on abundant labels, but labeling graph in practice is particularly hard especially for the continuously emerging graphs on-the-fly. To address the aforementioned challenges, we propose to explore a challenging yet practical problem, the self-supervised continual graph learning in adaptive Riemannian spaces. In this paper, we propose a novel self-supervised Riemannian Graph Continual Learner (RieGrace). In RieGrace, we first design an Adaptive Riemannian GCN (AdaRGCN), a unified GCN coupled with a neural curvature adapter, so that Riemannian space is shaped by the learnt curvature adaptive to each graph. Then, we present a Label-free Lorentz Distillation approach, in which we create teacher-student AdaRGCN for the graph sequence. The student successively performs intra-distillation from itself and inter-distillation from the teacher so as to consolidate knowledge without catastrophic forgetting. In particular, we propose a theoretically grounded Generalized Lorentz Projection for the contrastive distillation in Riemannian space. Extensive experiments on the benchmark datasets show the superiority of RieGrace, and additionally, we investigate on how curvature changes over the graph sequence.

研究の動機と目的

• 既存の手法が固定されたユークリッド幾何学に依存する非ユークリッド的で曲率が変化するリーマン空間における継続的グラフ学習の課題に取り組むこと。
• 継続的グラフ学習における豊富なラベルに依存する問題を克服し、監視なしで自己教師付きの知識統合を可能にする。
• 各到着するグラフの内在的曲率に基づいて、双曲的空間と超球面空間の間を動的に切り替えられる統合的グラフニューラルネットワークを設計すること。
• ラベルや事前ラベル付きデータを必要とせず、リーマン空間内でタスク間で知識を保存する新しい蒸留メカニズムを開発すること。
• 一般化ローレンツ射影（GLP）を用いて非ユークリッド空間における対照的蒸留を理論的に裏付け、多様体上で閉じており幾何学的整合性を保証すること。

提案手法

• 各到着するグラフの曲率を予測可能な学習可能な CurvNet モジュールを備えた統合的リーマングラフ畳み込みネットワーク（RGCN）を提案し、双曲的または超球面空間への動的適応を可能にする。
• ラベルなし Lorentz 蒸留フレームワークを導入し、学生ネットワークが自身の内部層からの内部蒸留および教師ネットワークからの外部蒸留の両方を実行することで、過去の知識を保持する。
• 異なるリーマン空間間での対照的蒸留を可能にする一般化ローレンツ射影（GLP）を考案し、多様体上で閉じておりローレンツ変換と関連していることが証明された。
• 教師は以前のモデルから更新され、学生は新しいグラフごとに再初期化される教師-学生トレーニングパラダイムを採用し、忘却を伴わない継続的学習を実現する。
• 実際のラベルに依存しない自己教師付き対照的学習（インスタンス識別を用いて）により、偽ラベルを生成し、トレーニング中に真のラベルに依存しなくなるようにする。
• フォーマン-リッチィ曲率にインspiredされた CurvNet を活用し、グラフの構造的性質に基づいてリーマン空間を形状づけるエンドツーエンドの曲率予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 順次到着するグラフの構造的性質に適合するために、グラフニューラルネットワークがその背後にあるリーマン幾何（曲率）を動的に適応させることができるか？
• RQ2 ラベル付きデータに依存せずに、継続的グラフ学習タスク間で知識を効果的に統合する方法は何か？
• RQ3 異なるリーマン空間（例：双曲的空間と球面空間）間で対照的蒸留を効果的に行うことは可能か？
• RQ4 複数のグラフにわたる曲率の変動が、表現品質およびモデル性能に与える影響は何か？
• RQ5 リーマン空間における自己教師付き継続的学習フレームワークは、監視付きベースラインを上回る性能を発揮できるか？

主な発見

• RieGrace はベンチマークデータセットにおいて、最先端の監視付き継続的グラフ学習手法を上回り、この分野における自己教師付き学習の有効性を示している。
• ogbn-arXiv ではテスト精度が 0.435（±0.027）を達成し、ComC や ZeroC といった監視付き手法でさえも上回っている。
• 曲率適応は有効である：ogbn-arXiv シーケンスにおける連続するグラフに対して、それぞれ 0.227、-0.536、-1.073 の異なる曲率を学習しており、構造的適応が行われていることが示唆される。
• 埋め込み歪みは、曲率がグラフの内在的幾何に一致する際に最小化され、各グラフの最適曲率で歪みが最小（0.367）に達している。
• 一般化ローレンツ射影（GLP）は数学的にリーマン多様体上で閉じており、空間間蒸留の安定な基盤を提供する。
• アブレーションスタディにより、CurvNet およびラベルなし Lorentz 蒸留の両方が性能に不可欠であることが確認され、いずれかのコンponentを除外すると顕著な精度低下が生じた。