[論文レビュー] Provably expressive temporal graph networks

Amauri H. Souza, Diego Mesquita+2 more|arXiv (Cornell University)|Sep 29, 2022

Epigenetics and DNA Methylation被引用数 16

ひとこと要約

この論文は、注入型メッセージパッシングと相対的位置特徴を組み合わせることで、従来のMP-TGNおよびWA-TGNの制限を克服する、証明可能に表現力が優れた時系列グラフネットワークPINTを提案する。理論的基盤を確立し、注入型アップデートが時系列Weisfeiler-Lemanテストと同等の表現力を有することを示し、サンプリングのオーバーヘッドなしにグローバルな文脈とローカルなダイナミクスの両方を活用することで、実世界のベンチマークにおいて先行モデルを上回る性能を発揮する。

ABSTRACT

Temporal graph networks (TGNs) have gained prominence as models for embedding dynamic interactions, but little is known about their theoretical underpinnings. We establish fundamental results about the representational power and limits of the two main categories of TGNs: those that aggregate temporal walks (WA-TGNs), and those that augment local message passing with recurrent memory modules (MP-TGNs). Specifically, novel constructions reveal the inadequacy of MP-TGNs and WA-TGNs, proving that neither category subsumes the other. We extend the 1-WL (Weisfeiler-Leman) test to temporal graphs, and show that the most powerful MP-TGNs should use injective updates, as in this case they become as expressive as the temporal WL. Also, we show that sufficiently deep MP-TGNs cannot benefit from memory, and MP/WA-TGNs fail to compute graph properties such as girth. These theoretical insights lead us to PINT -- a novel architecture that leverages injective temporal message passing and relative positional features. Importantly, PINT is provably more expressive than both MP-TGNs and WA-TGNs. PINT significantly outperforms existing TGNs on several real-world benchmarks.

研究の動機と目的

• 時系列グラフネットワーク（TGN）の表現力に関する理論的基盤を確立すること。これは実用的成功を収めているものの、その背後にある理論的理解がまだ不十分であるためである。
• MP-TGN（メモリ付きメッセージパッシング）およびWA-TGN（ウォーク集約型）という2つの既存のTGNカテゴリの根本的限界を特定すること。具体的には、両者の表現力が互いに包含関係にないことを証明すること。
• TGNに理論的保証が欠如している問題に対処し、MP-TGNおよびWA-TGNの両方よりも証明可能に表現力が優れた新しいアーキテクチャPINTを導入すること。
• 深層MP-TGNにおけるメモリの冗長性を示し、MP-TGNおよびWA-TGNがグラフの基本的性質（例：周囲、直径、サイクル数）を計算できないことを示すこと。

提案手法

• 動的グラフ上でTGNの表現力を測定するため、1-WL（Weisfeiler-Leman）テストの時系列拡張を提案する。
• MP-TGNに注入型メッセージパッシングおよび更新関数を導入し、それらが匿名的メッセージパッシングTGNの理論的上限に達することを示す。
• 注入型時系列メッセージパッシングと学習可能な相対的位置特徴を組み合わせた、PINTと呼ばれる新規アーキテクチャを構築する。これにより、ウォーク集約型手法の識別力を模倣できる。
• ウォークサンプリングに依存しない相対的位置特徴を用いることで、CAWスタイルのウォークサンプリングと比較して計算コストを低減する。
• 相対的位置符号化を統合したメモリ機構を採用し、長距離依存関係を効率的に捉える。
• グリッドサーチおよび自動ハイパーパramータ選択を用いてモデルチューニングを実施。位置特徴は事前計算し、スパース行列として保存することで、学習効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MP-TGNとWA-TGNの表現力はどのように比較できるか。一方が他方を包含するのか。
• RQ2 十分に深いアーキテクチャでは、MP-TGNにおけるメモリは不要であるか。
• RQ3 既存のTGNは、周囲、直径、サイクル数といった基本的グラフ性質を計算できるか。
• RQ4 MP-TGNおよびWA-TGNの両方よりも証明可能に表現力が優れたTGNアーキテクチャは存在するか。
• RQ5 注入型関数および相対的位置特徴は、TGNの表現力向上にどのように寄与するか。

主な発見

• MP-TGNに注入型メッセージパッシングおよび更新関数を導入することで、時系列Weisfeiler-Lemanテストと同等の表現力を達成し、匿名的MP-TGNの理論的上限を確立する。
• 十分に深いMP-TGNでは、メモリの有無にかかわらず、深さによって遠くのノードまでカバーされるため、メモリは不要である。
• MP-TGNとWA-TGNは、互いに包含関係にない。それぞれが相手が区別できない構造を識別できることから、表現力が「比較不能」であることが証明される。
• MP-TGNおよびCAWスタイルのWA-TGNは、周囲、直径、サイクル数といったグラフの内在的性質を計算できない。
• PINTは複数のベンチマークでSOTA性能を達成し、ノード分類タスクでReddit（AUC: 67.31 ± 0.2）で1位、Wikipedia（87.59 ± 0.6）で2位を記録する。
• PINTは初期前処理を除けばCAWより高速であり、コストの高いウォークサンプリングを回避するため、EnronおよびLastFMでは1エポックあたりの学習時間がCAWよりも顕著に短い。