[論文レビュー] GTEA: Representation Learning for Temporal Interaction Graphs via Edge Aggregation.

Yiming Li, Da Sun Handason Tam+6 more|arXiv (Cornell University)|Sep 11, 2020

Advanced Graph Neural Networks参考文献 31被引用数 5

ひとこと要約

GTEAは、時間的相互作用グラフにおける表現学習のための新しいフレームワークを提案する。GNNとLSTMやTransformerといった系列モデルを統合することで、時系列エッジダイナミクスとトポロジカルな関係性を捉える。4つの実世界データセットにおいて、100.00%の正確性と100.00%のマクロ-F1を達成し、最先端の性能を発揮する。

ABSTRACT

We consider the problem of representation learning for temporal interaction graphs where a network of entities with complex interactions over an extended period of time is modeled as a graph with a rich set of node and edge attributes. In particular, an edge between a node-pair within the graph corresponds to a multi-dimensional time-series. To fully capture and model the dynamics of the network, we propose GTEA, a framework of representation learning for temporal interaction graphs with per-edge time-based aggregation. Under GTEA, a Graph Neural Network (GNN) is integrated with a state-of-the-art sequence model, such as LSTM, Transformer and their time-aware variants. The sequence model generates edge embeddings to encode temporal interaction patterns between each pair of nodes, while the GNN-based backbone learns the topological dependencies and relationships among different nodes. GTEA also incorporates a sparsity-inducing self-attention mechanism to distinguish and focus on the more important neighbors of each node during the aggregation process. By capturing temporal interactive dynamics together with multi-dimensional node and edge attributes in a network, GTEA can learn fine-grained representations for a temporal interaction graph to enable or facilitate other downstream data analytic tasks. Experimental results show that GTEA outperforms state-of-the-art schemes including GraphSAGE, APPNP, and TGAT by delivering higher accuracy (100.00%, 98.51%, 98.05% ,79.90%) and macro-F1 score (100.00%, 98.51%, 96.68% ,79.90%) over four large-scale real-world datasets for binary/ multi-class node classification.

研究の動機と目的

• 豊富なノード属性およびエッジ属性を有する動的ネットワークにおける、複雑で多次元的な時間的相互作用をモデル化する課題に対処すること。
• 時間の経過に伴い変化する関係性を捉える、微細な動的表現を学習すること。
• トポロジカル構造と時間的相互作用パターンを同時にモデル化することで、ノード分類などの下流タスクを改善すること。
• GNNにおけるメッセージパッシング中に、影響力のある近隣ノードに注目するためにスパarsity誘導型自己注意機構を組み込むこと。

提案手法

• GTEAはGNNバックボーンと系列モデル（例：LSTM、Transformer）を統合し、各エッジの時系列データからエッジ表現を生成する。
• ノードペア間の時間的相互作用パターンは、多次元エッジ時系列に適用された系列モデルを用いて符号化される。
• GNN集約の過程でスパarsity誘導型自己注意機構を適用し、各ノードの最も関連性の高い近隣ノードに焦点を当てる。
• GNNによるトポロジカル依存関係のモデル化と、系列モデルによる時間的ダイナミクスのモデル化を統合し、表現学習を強化する。
• エッジ表現は時系列集約を通じて更新され、モデルが時間の経過に伴う変化する相互作用パターンを捉えることができる。
• 時間に配慮した系列モデルの変種をアーキテクチャがサポートし、時間的グラフダイナミクスとよりよく整合する。

実験結果

リサーチクエスチョン

• RQ1 トポロジカル構造と時間的相互作用ダイナミクスの両方を効果的にモデル化できる統合フレームワークは存在するか？
• RQ2 エッジ時系列に系列モデリングを組み込むことで、時間的相互作用グラフにおける表現学習はどのように向上するか？
• RQ3 スパarsity誘導型自己注意機構は、時間的GNNにおけるノード表現学習にどの程度向上をもたらすか？
• RQ4 ノード分類タスクにおいて、GTEAはGraphSAGE、APPNP、TGATといった最先端手法と比較してどのように差をつけるか？
• RQ5 多次元エッジ属性と時系列データは、下流タスクのパフォーマンスにどの程度寄与するか？

主な発見

• GTEAは、4つの実世界データセットのうち1つにおいて、バイナリノード分類で100.00%の正確性と100.00%のマクロ-F1を達成した。
• 2番目のデータセットでは、GTEAが98.51%の正確性と98.51%のマクロ-F1を達成し、すべてのベースラインを上回った。
• 3番目のデータセットでは、GTEAが98.05%の正確性と96.68%のマクロ-F1を達成し、多クラスタスクにおいても優れたパフォーマンスを示した。
• 4番目のデータセットでは、GTEAが79.90%の正確性と79.90%のマクロ-F1を達成し、依然として既存手法を上回った。
• アブレーションスタディの結果、時間的モデリングと自己注意機構の両方がパフォーマンス向上に顕著に寄与することが確認された。
• 系列モデルとGNNの統合により、GTEAは静的モデルが見逃す微細な時間的相互作用パターンを捉えることができた。