[論文レビュー] Towards Open Temporal Graph Neural Networks

Kaituo Feng, Changsheng Li+2 more|arXiv (Cornell University)|Mar 27, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、異種接続性の伝播と深刻な忘却の問題に対処する、オープン時系列グラフニューラルネットワーク向けの新規クラス増分学習フレームワーク、OTGNetを提案する。ノード表現をクラスに依存しない成分とクラス関連の成分に分離し、情報ボトルネックに基づくメッセージパッシング機構を用いることで、異なるクラス間で競合する特徴集約を回避する。さらに、多様性と重要性を兼ね備えた三元組サブグラフを選択してリハーよりを実施し、Reddit、Yelp、Taobaoのデータセットで最先端の性能を達成し、精度向上と忘却の低減が顕著に見られた。

ABSTRACT

Graph neural networks (GNNs) for temporal graphs have recently attracted increasing attentions, where a common assumption is that the class set for nodes is closed. However, in real-world scenarios, it often faces the open set problem with the dynamically increased class set as the time passes by. This will bring two big challenges to the existing dynamic GNN methods: (i) How to dynamically propagate appropriate information in an open temporal graph, where new class nodes are often linked to old class nodes. This case will lead to a sharp contradiction. This is because typical GNNs are prone to make the embeddings of connected nodes become similar, while we expect the embeddings of these two interactive nodes to be distinguishable since they belong to different classes. (ii) How to avoid catastrophic knowledge forgetting over old classes when learning new classes occurred in temporal graphs. In this paper, we propose a general and principled learning approach for open temporal graphs, called OTGNet, with the goal of addressing the above two challenges. We assume the knowledge of a node can be disentangled into class-relevant and class-agnostic one, and thus explore a new message passing mechanism by extending the information bottleneck principle to only propagate class-agnostic knowledge between nodes of different classes, avoiding aggregating conflictive information. Moreover, we devise a strategy to select both important and diverse triad sub-graph structures for effective class-incremental learning. Extensive experiments on three real-world datasets of different domains demonstrate the superiority of our method, compared to the baselines.

研究の動機と目的

• 時系列グラフニューラルネットワークにおけるオープンセット問題に取り組む。ここでは、時間の経過とともに新規クラスが動的に出現する。
• 標準的なGNNが異なるクラスに属するノード同士を類似した埋め込みに押し込む、異種接続性の伝播問題を解決する。
• 進化を続ける時系列グラフにおける継続的学習において、深刻な忘却を軽減する。
• 異なるクラスのノード間でのみクラスに依存しない知識を伝達する、原理的かつ整合性のあるメッセージパッシング機構を設計する。
• 理論的根拠に基づいた有効な方法として、知識リハーサル用の代表的三元組サブグラフを選択する手法を考案する。

提案手法

• クラス関連とクラスに依存しない特徴に分離する、分離型ノード表現学習フレームワークを提案する。
• クラスに依存しない知識のみを異なるクラスのノード間で選択的に伝達する、情報ボトルネックに基づくメッセージパッシング機構を導入する。
• 継続的学習における重要性と多様性を両立させる、三元組サブグラフを特定する価値関数を設計する。
• 理論的下限保証を備えた貪欲近似アルゴリズムを提案し、効率的な三元組選択を実現する。
• 選択された三元組を、古いクラスの忘却を防ぐための経験リプレイとして訓練プロセスに統合する。
• 全歴史的データの再トレーニングなしに、新規クラスの到着に応じてモデルを段階的に更新するクラス増分学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 オープン時系列グラフにおいて、異なるクラスのノード間で特徴集約が競合するのを回避するメッセージパッシング機構をどのように設計できるか？
• RQ2 継続的学習において構造的多様性と重要性の両方を保持する代表的三元組サブグラフを効果的に特定する基準は何か？
• RQ3 分離表現学習と選択的三元組リハーサルの組み合わせが、時系列グラフ学習における深刻な忘却を顕著に低減できるか？
• RQ4 実世界の時系列グラフデータセットにおいて、提案手法は既存の増分学習ベースラインと比較して、精度と忘却率の両面で優れているか？
• RQ5 提案された三元組選択アルゴリズムの計算効率はどの程度で、グラフサイズの増大に伴いどのようにスケーリングするか？

主な発見

• OTGNetは、すべての3つのデータセットで最高の平均精度（AP）を達成した：Redditで73.88、Yelpで83.78、Taobaoで79.92であり、すべてのベースラインを上回った。
• Redditデータセットでは、OTGNetは最終タスクで95.97のAPを達成し、2番目に優れた手法（TGN+BiCで80.15 AP）を顕著に上回った。
• OTGNetは、Taobaoで平均忘却（AF）を12.82、Yelpで4.98にまで低減し、タスク間での高い安定性を示した。
• t-SNE可視化では、OTGNetがOTGNet-w.o.-IBよりも特に新規クラス導入後において、より判別力のあるノード埋め込みを学習していることが示された。
• OTGNetの実行時間（Redditで6.78時間）は、増分ベースライン（5.05–6.23時間）と同等であり、再トレーニング手法（10–35時間）に比べて顕著に短かった。
• 提案された三元組選択アルゴリズムは理論的近似比の下限保証を達成しており、選択されたサブグラフにおける多様性と重要性のバランスを保証した。