[論文レビュー] Inductive Representation Learning on Temporal Graphs

Da Xu, Chuanwei Ruan+3 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Graph Neural Networks参考文献 32被引用数 32

ひとこと要約

TGATを導入。Bochnerの定理に基づく機能的時刻エンコーディングを備えた時系列グラフ注意ネットワークにより、進化するグラフに対する帰納的タスクのための時刻認識ノード埋め込みを生成する。

ABSTRACT

Inductive representation learning on temporal graphs is an important step toward salable machine learning on real-world dynamic networks. The evolving nature of temporal dynamic graphs requires handling new nodes as well as capturing temporal patterns. The node embeddings, which are now functions of time, should represent both the static node features and the evolving topological structures. Moreover, node and topological features can be temporal as well, whose patterns the node embeddings should also capture. We propose the temporal graph attention (TGAT) layer to efficiently aggregate temporal-topological neighborhood features as well as to learn the time-feature interactions. For TGAT, we use the self-attention mechanism as building block and develop a novel functional time encoding technique based on the classical Bochner's theorem from harmonic analysis. By stacking TGAT layers, the network recognizes the node embeddings as functions of time and is able to inductively infer embeddings for both new and observed nodes as the graph evolves. The proposed approach handles both node classification and link prediction task, and can be naturally extended to include the temporal edge features. We evaluate our method with transductive and inductive tasks under temporal settings with two benchmark and one industrial dataset. Our TGAT model compares favorably to state-of-the-art baselines as well as the previous temporal graph embedding approaches.

研究の動機と目的

• 進化するグラフ上での帰納的かつ時刻依存の埋め込みの必要性に対応する。
• ノード表現に時間的パターンとトポロジ的コンテキストの両方を捉える。
• 未見のノードと時刻に対して正確なノード分類とリンク予測を可能にする。
• 産業規模の時系列グラフに適した、拡張性が高く並列化可能なアーキテクチャを提供する。

提案手法

• 自己注意機構により時間的近傍特徴を集約する Temporal Graph Attention (TGAT) 層を提案する。
• Bochnerの定理に由来する機能的時刻エンコーディングを用いて時間をモデル化するため、従来の位置エンコーディングを置換する。
• 時間エンコードの内積として時刻カーネル K(t1,t2) を定義し、コサインとサインを用いたモンテカルロサンプルで近似する。
• エッジ特徴をメッセージパッシング形式で組み込むように TGAT を拡張する。
• 多跳の時間的依存関係を捉えるために TGAT 層を積み重ね、安定性と性能のためにオプションでマルチヘッド注意を使用する。

実験結果

リサーチクエスチョン

• RQ1 帰納的設定で時刻認識ノード埋め込みを temporal graphs に対してどう学習できるか？
• RQ2 機能的時刻エンコーディングを用いた自己注意ベースのアーキテクチャは、帰納的・伝達的タスクの双方で既存の時系列グラフ埋め込みを上回ることができるか？
• RQ3 時間特徴量の相互作用は進化するグラフ上のノード分類とリンク予測にどう影響するのか？

主な発見

• TGATは3つのデータセット（Reddit、Wikipedia、Industrial）において、伝導的および帰納的タスクの両方で高い性能を達成します。
• Bochnerベースの機能的時刻エンコーディングによって学習された時刻カーネルは、アテンション内での時刻特徴相互作用を効果的に可能にし、埋め込み品質を改善する。
• TGAT は、マルチヘッド注意と時間特徴統合を備えた場合、GAE、VGAE、CDTNE、GAT、GraphSAGE などの代表法を主要指標で上回る。
• この手法は、未見ノードおよび新しい時点に対して単一の前向き計算で帰納的推論を提供し、スケーラブルな展開を可能にする。