[論文レビュー] Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment

Meng Liu, Ke Liang+6 more|arXiv (Cornell University)|Feb 15, 2023

Advanced Graph Neural Networks参考文献 69被引用数 6

ひとこと要約

本稿では、時間的および構造的強度表現を統合することでノード表現の質を向上させる自己教師付き時系列グラフ学習手法S2Tを提案する。ハーケス過程を用いた一次元時間的ダイナミクスと、局所的およびグローバルなグラフモジュールからの高次元構造的情報を取り入れることで、新しいアライメント損失を用いてこれらの強度の差を低減し、複数のデータセットで最先端手法比最大10.13%の性能向上を達成した。

ABSTRACT

Temporal graph learning aims to generate high-quality representations for graph-based tasks with dynamic information, which has recently garnered increasing attention. In contrast to static graphs, temporal graphs are typically organized as node interaction sequences over continuous time rather than an adjacency matrix. Most temporal graph learning methods model current interactions by incorporating historical neighborhood. However, such methods only consider first-order temporal information while disregarding crucial high-order structural information, resulting in suboptimal performance. To address this issue, we propose a self-supervised method called S2T for temporal graph learning, which extracts both temporal and structural information to learn more informative node representations. Notably, the initial node representations combine first-order temporal and high-order structural information differently to calculate two conditional intensities. An alignment loss is then introduced to optimize the node representations, narrowing the gap between the two intensities and making them more informative. Concretely, in addition to modeling temporal information using historical neighbor sequences, we further consider structural knowledge at both local and global levels. At the local level, we generate structural intensity by aggregating features from high-order neighbor sequences. At the global level, a global representation is generated based on all nodes to adjust the structural intensity according to the active statuses on different nodes. Extensive experiments demonstrate that the proposed model S2T achieves at most 10.13% performance improvement compared with the state-of-the-art competitors on several datasets.

研究の動機と目的

• 既存の時系列グラフ手法が一次元の時間的情報にのみ焦点を当て、高次元の構造的パターンを無視するという制限を解消すること。
• 自己教師付きフレームワーク内で時間的ダイナミクスと構造的トポロジーを統合的にモデル化することで、ノード表現の質を向上させること。
• ノードの活動度に基づいて強度を調整するグローバル構造モジュールを活用し、長尾ノードの表現を改善すること。
• 最適化を向上させるために、タスク損失と強度アライメント損失を統合した統一された損失関数を開発すること。
• 最先端手法と比較して、実世界の時系列グラフベンチマークで優れた性能を示すこと。

提案手法

• 本手法はハーケス過程を用いて時間的強度をモデル化し、過去の隣接ノード相互作用が将来のノード相互作用に与える影響を捉える。
• 局所的構造的強度は、GNNベースのモジュールを介して高次元近傍特徴を集約することで計算され、局所トポロジーを捉える。
• 全ノードからのグローバル表現が学習され、ノードの活動度に応じて構造的強度を再重み付けするために用いられる。
• 構造的強度ベクトルの異なる次元に重要度を割り当てるためのグローバルパラメータを導入し、より高いロバストネスを実現する。
• アライメント損失は、時間的強度ベクトルと構造的強度ベクトルの差を最小化することで、一貫性があり情報豊富な表現を学習するのを促進する。
• 総損失は、アライメント損失と下流タスク損失（例：リンク予測）を組み合わせており、自己教師付き事前学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間的および構造的情報の統合的モデリングは、時系列グラフにおけるノード表現の質を向上させ得るか？
• RQ2 時間的および構造的強度表現のアライメントは、モデルの性能をどのように向上させるか？
• RQ3 グローバル構造的認識を組み込むことで、長尾ノードの表現はどの程度向上するか？
• RQ4 最適で安定した性能を得るために、どのようなハイパーパramータ設定（例：シーケンス長、ネガティブサンプル数）が適しているか？
• RQ5 提案手法はどの程度速く収束し、スケーラブルな大規模グラフに適しているか？

主な発見

• S2Tは、Wikipedia、CollegeMsg、cit-HepThを含む複数のベンチマークデータセットで、最先端手法比最大10.13%の性能向上を達成した。
• 最適な歴史的隣接ノードシーケンス長$S$は、Wikipediaでは15、cit-HepThでは20であるが、計算効率を考慮してデフォルトで$S=10$が使用される。
• 正例ペア1組あたりネガティブサンプル1つを用いることで、精度とF1スコアの両面で最もバランスの取れた性能が得られ、クラス不均衡を回避できる。
• モデルは非常に速やかに収束し、数エポックで損失値が安定するため、高速かつ安定した最適化が可能である。
• アブレーションスタディにより、グローバル構造モジュールが長尾ノードの表現を顕著に向上させ、特に活動度が低いノードの表現品質向上に有効であることが示された。
• 時間計算量$O(t|E|d^3)$が良好であり、収束が速いため、大規模時系列グラフにスケーラブルであることが示された。