[論文レビュー] TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning

Lu Wang, Xiaofu Chang+8 more|arXiv (Cornell University)|May 17, 2021

Advanced Graph Neural Networks参考文献 32被引用数 24

ひとこと要約

TCLは連続時間動的グラフに対するグラフトポロジー認識型トランスフォーマーを導入し、時間的近傍にはコアテンションを持つ二重ストリームエンコーダを用い、相互作用ノード間での相互情報を最大化する未来状態対比目的を採用します。

ABSTRACT

Dynamic graph modeling has recently attracted much attention due to its extensive applications in many real-world scenarios, such as recommendation systems, financial transactions, and social networks. Although many works have been proposed for dynamic graph modeling in recent years, effective and scalable models are yet to be developed. In this paper, we propose a novel graph neural network approach, called TCL, which deals with the dynamically-evolving graph in a continuous-time fashion and enables effective dynamic node representation learning that captures both the temporal and topology information. Technically, our model contains three novel aspects. First, we generalize the vanilla Transformer to temporal graph learning scenarios and design a graph-topology-aware transformer. Secondly, on top of the proposed graph transformer, we introduce a two-stream encoder that separately extracts representations from temporal neighborhoods associated with the two interaction nodes and then utilizes a co-attentional transformer to model inter-dependencies at a semantic level. Lastly, we are inspired by the recently developed contrastive learning and propose to optimize our model by maximizing mutual information (MI) between the predictive representations of two future interaction nodes. Benefiting from this, our dynamic representations can preserve high-level (or global) semantics about interactions and thus is robust to noisy interactions. To the best of our knowledge, this is the first attempt to apply contrastive learning to representation learning on dynamic graphs. We evaluate our model on four benchmark datasets for interaction prediction and experiment results demonstrate the superiority of our model.

研究の動機と目的

• 時間的進化とトポロジーの両方を捉える動的グラフ表現学習を動機づける。
• TDIGsにおける不規則な時間間隔を扱うTransformerベースのフレームワークを提案する。
• interacting nodes の時間的近傍を別々にモデル化し、それらを意味的に統合する二ストリームエンコーダを導入する。
• 未来の相互作用ノード表現間の相互情報を最大化する対照学習目的を組み込む。

提案手法

• 元のTransformerを拡張して、時間間隔と深さ埋め込みを用いたグラフトポロジー対応処理を行う。
• Masked multi-head attentionを用いてTDIG構造をアテンションに挿入し、時間的依存性を尊重する。
• 各相互作用ノードの時間的近傍を処理する二重ストリームエンコーダを実装し、その後共注意型トランスフォーマーで表現を融合する。
• 依存ノードから未来のノード表現を予測し、相互作用ペアの未来ノード表現の一致を最大化する対照損失で最適化する。
• 対照目的をスコアリングするSim関数は、正例対と負例対を評価する加算項と乗算項を組み合わせて用いる。

実験結果

リサーチクエスチョン

• RQ1 Continuous-time dynamic graphs (TDIG) において、Transformerベースのアーキテクチャは時系列情報とトポロジ情報を効果的にモデルできるか？
• RQ2 二重ストリーム、共注意エンコーダは時系列近傍間のセマンティック関係を活用して動的埋め込みを改善できるか？
• RQ3 未来の相互作用表現に基づく対照学習は、ノイズ耐性のある動的グラフ表現を生み出し、相互作用予測を改善するか？

主な発見

• グラフトポロジー認識型のMasked Attentionを用いるトランスフォーマーは、TDIGにおける時間的・トポロジー情報をエンコードできる。
• 共注意トランスフォーマーを備えた二重ストリームエンコーダは、近隣の意味情報を横断的にモデル化することで動的埋め込みをより有意義にする。
• 未来予測に基づく対照学習目的はノイズに対する頑健性を高め、相互作用ノード間の相互情報の最大化に寄与する。
• TCLフレームワークは、出典上で4つの動的相互作用データセットにおいてベースラインより一貫した改善を示す（出典には数値は提供されていない）。