[論文レビュー] Heterogeneous Temporal Graph Neural Network

Yujie Fan, Mingxuan Ju+3 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、階層的集約メカニズム（内関係集約、関係間集約、時系列跨ぎ集約を含む）を通じて、異種空間的依存関係と時系列的ダイナミクスを同時にモデル化する、新しいGNNフレームワークであるHeterogeneous Temporal Graph Neural Network（HTGNN）を提案する。実世界の異種時系列グラフ（OGBN-MAG や COVID-19 データセットなど）において、最先端の性能を達成した。

ABSTRACT

Graph neural networks (GNNs) have been broadly studied on dynamic graphs for their representation learning, majority of which focus on graphs with homogeneous structures in the spatial domain. However, many real-world graphs - i.e., heterogeneous temporal graphs (HTGs) - evolve dynamically in the context of heterogeneous graph structures. The dynamics associated with heterogeneity have posed new challenges for HTG representation learning. To solve this problem, in this paper, we propose heterogeneous temporal graph neural network (HTGNN) to integrate both spatial and temporal dependencies while preserving the heterogeneity to learn node representations over HTGs. Specifically, in each layer of HTGNN, we propose a hierarchical aggregation mechanism, including intra-relation, inter-relation, and across-time aggregations, to jointly model heterogeneous spatial dependencies and temporal dimensions. To retain the heterogeneity, intra-relation aggregation is first performed over each slice of HTG to attentively aggregate information of neighbors with the same type of relation, and then intra-relation aggregation is exploited to gather information over different types of relations; to handle temporal dependencies, across-time aggregation is conducted to exchange information across different graph slices over the HTG. The proposed HTGNN is a holistic framework tailored heterogeneity with evolution in time and space for HTG representation learning. Extensive experiments are conducted on the HTGs built from different real-world datasets and promising results demonstrate the outstanding performance of HTGNN by comparison with state-of-the-art baselines. Our built HTGs and code have been made publicly accessible at: https://github.com/YesLab-Code/HTGNN.

研究の動機と目的

• 構造と特徴の両方が動的に変化する異種時系列グラフ（HTG）における表現学習の課題に取り組む。
• 空間的および時系列的依存関係を逐次処理する既存のモデルが、グラフの特性に敏感であるという限界を克服する。
• 動的HTGにおける空間的・時系列的相互作用を統合的にモデル化しつつ、グラフの異種性を保持する統一フレームワークを構築する。
• 構造の変化（例：学術ネットワーク）やノード特徴の変化（例：疫学的ネットワーク）を示す多様なHTGタイプにわたり、性能に依存しない対応を可能にする。

提案手法

• 各HTGNN層において、階層的集約メカニズムを提案：同じ関係タイプ内での隣接ノード情報収集のための内関係集約。
• 異なる関係タイプ間での情報集約を実行し、空間的構造における異種性を保持する関係間集約を適用。
• 時系列スライス間での情報交換を可能にし、時系列的変化を明示的にモデル化する時系列跨ぎ集約を導入。
• 空間的および時系列的依存関係を逐次的ではなく、統合的に処理する包括的でエンドツーエンドのフレームワークを設計。
• 内関係および関係間モジュールで注目メカニズムを活用し、隣接ノードの寄与度を動的に重み付け。
• 過剰平滑化を軽減し、複数層にわたる訓練の安定性を向上させるために、残差接続と正規化を統合。

実験結果

リサーチクエスチョン

• RQ1 動的グラフにおいて、異種空間的依存関係と時系列的ダイナミクスの両方を効果的に捉えるにはどうすればよいか？
• RQ2 構造的ダイナミクス向けまたは特徴的ダイナミクス向けに最適化された専用モデルよりも、統一フレームワークが優れた性能を発揮できるか？
• RQ3 内関係集約、関係間集約、時系列跨ぎ集約の各モジュールが、HTGにおける表現学習にどの程度寄与しているか？
• RQ4 モデルの深さ、埋め込み次元、時系列ウィンドウサイズといったハイパーパrameterに対して、提案されたHTGNNはどの程度感受性を示すか？
• RQ5 空間的および時系列的次元を統合的にモデル化することで、多様なHTG特性にわたる一般化性能が向上するか？

主な発見

• HTGNNは、OGBN-MAGおよびCOVID-19データセットにおいて、それぞれAUC 91.01±0.77、AP 89.18±1.24の最高値を記録し、HTGNN STおよびHTGNN TSの各変種を上回った。
• HTGNN STは、構造的ダイナミクスが支配的なOGBN-MAGで優れた性能（AUC: 89.35±0.81）を示したが、特徴的ダイナミクスが顕著なCOVID-19データセットではHTGNN TSが優れた性能（AUC: 88.01±0.71）を示した。
• アブレーションスタディの結果、関係間集約、内関係集約、時系列跨ぎ集約の3要素すべてが不可欠であることが確認され、いずれか1つを欠いたバージョンよりも、完全なモデルが優れた性能を示した。
• モデルの深さに対して感受性を示し、3〜4層で性能がピークに達した後、過剰平滑化のため低下した。
• 埋め込み次元を大きくすると一時的に性能が向上するが、大きすぎると過学習を引き起こすため、表現能力の最適範囲が存在することが示唆された。
• 時系列ウィンドウサイズは非単調な影響を示し、一定の大きさまでは性能が向上するが、その後、履歴データのノイズや冗長性の影響で変動が生じた。