[論文レビュー] Self-Supervised Dynamic Graph Representation Learning via Temporal Subgraph Contrast

Linpu Jiang, Kejia Chen+1 more|arXiv (Cornell University)|Dec 16, 2021

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、構造的およびタイムスタンプ付きエッジ情報の両方を用いてサンプリングされた時間的サブグラフを対比することで、ノード埋め込みを向上させる自己教師型動的グラフ表現学習フレームワーク、DySubCを提案する。構造的および時間的対比損失を同時に最適化することにより、5つの実世界データセットにおいてリンク予測で最先端の性能を達成し、時間的ダイナミクスが表現品質を向上させる上で重要な役割を果たすことを示した。

ABSTRACT

Self-supervised learning on graphs has recently drawn a lot of attention due to its independence from labels and its robustness in representation. Current studies on this topic mainly use static information such as graph structures but cannot well capture dynamic information such as timestamps of edges. Realistic graphs are often dynamic, which means the interaction between nodes occurs at a specific time. This paper proposes a self-supervised dynamic graph representation learning framework (DySubC), which defines a temporal subgraph contrastive learning task to simultaneously learn the structural and evolutional features of a dynamic graph. Specifically, a novel temporal subgraph sampling strategy is firstly proposed, which takes each node of the dynamic graph as the central node and uses both neighborhood structures and edge timestamps to sample the corresponding temporal subgraph. The subgraph representation function is then designed according to the influence of neighborhood nodes on the central node after encoding the nodes in each subgraph. Finally, the structural and temporal contrastive loss are defined to maximize the mutual information between node representation and temporal subgraph representation. Experiments on five real-world datasets demonstrate that (1) DySubC performs better than the related baselines including two graph contrastive learning models and four dynamic graph representation learning models in the downstream link prediction task, and (2) the use of temporal information can not only sample more effective subgraphs, but also learn better representation by temporal contrastive loss.

研究の動機と目的

• 動的グラフの時間的変化を捉えることが困難な静的グラフ表現学習の限界を解消すること。
• 動的グラフにおける構造的および時間的ダイナミクスを同時にモデル化する自己教師型フレームワークの開発。
• エッジのタイムスタンプをサブグラフサンプリングおよび対比学習に組み込むことで、ノード表現の質を向上させること。
• 時間的情報がサブグラフサンプリングの有効性および下流の表現性能を向上させることを検証すること。

提案手法

• 各ノードを中核として、近接性およびエッジのタイムスタンプに基づいて近隣ノードをサンプリングする、新しい時間的サブグラフサンプリング戦略を提案する。
• 時間に敏感なGNNエンコーダーが、各サンプリングされた時間的サブグラフを処理し、ノードおよびサブグラフ表現を生成する。
• 時間重み付きリードアウト関数が、最近の相互作用に重点を置いた時間的サブグラフの要約を計算する。
• ノード表現とその対応する時間的サブグラフ表現間の相互情報量を最大化するように、構造的および時間的対比損失を定義する。
• 正例ペア（中心ノードとその時間重み付きサブグラフ）、構造的負例ペア（他のサブグラフ）、時間的負例ペア（重みなしサブグラフ）を用いてモデルを訓練する。
• ハイパーパrameter α と β は、それぞれサンプリングおよび表現における構造的および時間的情報のバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 エッジのタイムスタンプをサブグラフサンプリングに組み込むことで、動的グラフ表現の質が向上するか？
• RQ2 時間的対比学習は、静的または純粋に構造的な対比学習手法と比較して、より優れたノード表現学習を実現するか？
• RQ3 サブグラフサイズおよびハイパーパrameter α と β が、提案フレームワークの性能に与える影響は何か？
• RQ4 時間的情報が、動的グラフにおけるリンク予測性能をどの程度向上させるか？

主な発見

• DySubCは、5つの実世界データセットにおいて4つの動的グラフ学習モデルおよび2つのグラフ対比学習モデルを上回るリンク予測性能を達成した。
• fb-forum データセットでは、時間強化モジュールを有効化した場合、ベースモデルと比較してAUCスコアが0.05向上した。
• サブグラフサイズの分析から、すべてのデータセットでサイズ20が最適な性能を示し、fb-forumのような小さなグラフでは、より大きなサイズ（例：100）では性能が低下した。
• 感度分析から、α = 10 および β = 1.6 が最良の性能を示し、サブグラフサンプリングおよび表現において、構造的および時間的情報の両方が不可欠であることが示された。
• t-SNE可視化により、DySubCは最近の相互作用に基づいてノードをよりよくクラスタリングしているのに対し、Sub-Conはこのような時間的近接性を捉えていなかった。
• ハイパーパrameterの中央値付近での摂動に対してモデルは頑健であることが示され、時間的および構造的信号がバランスされている場合、学習ダイナミクスが安定していることが示唆された。