[論文レビュー] Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN

Hansheng Xue, Luwei Yang+4 more|arXiv (Cornell University)|Apr 1, 2020

Advanced Graph Neural Networks参考文献 42被引用数 10

ひとこと要約

本稿では、階層的アテンションを用いてノードおよびエッジの異種性を捉え、時間的アテンションRNN（GRU/LSTM）を用いてネットワークスナップショット間の進化パターンをモデル化する動的非均質ネットワーク埋め込み手法DyHATRを提案する。DyHATRは4つの実世界データセットにおけるリンク予測において、最先端のベースラインを著しく上回り、構造的非均質性と時間的ダイナミクスの両方を効果的にモデル化していることを示している。

ABSTRACT

Network embedding aims to learn low-dimensional representations of nodes while capturing structure information of networks. It has achieved great success on many tasks of network analysis such as link prediction and node classification. Most of existing network embedding algorithms focus on how to learn static homogeneous networks effectively. However, networks in the real world are more complex, e.g., networks may consist of several types of nodes and edges (called heterogeneous information) and may vary over time in terms of dynamic nodes and edges (called evolutionary patterns). Limited work has been done for network embedding of dynamic heterogeneous networks as it is challenging to learn both evolutionary and heterogeneous information simultaneously. In this paper, we propose a novel dynamic heterogeneous network embedding method, termed as DyHATR, which uses hierarchical attention to learn heterogeneous information and incorporates recurrent neural networks with temporal attention to capture evolutionary patterns. We benchmark our method on four real-world datasets for the task of link prediction. Experimental results show that DyHATR significantly outperforms several state-of-the-art baselines.

研究の動機と目的

• 動的ネットワークにおける非均質な情報と進化パターンの両方を学習する課題に対処すること。
• 静的スナップショットにおける複数のノード型およびエッジ型の構造的非均質性を統合的に捉える統一フレームワークの開発。
• 時間的アテンションを備えた再帰ニューラルネットワーク（RNN）を用いて、動的ネットワークにおける長期的時間的進化をモデル化すること。
• 動的リンク予測のタスクとして、実世界のデータセットにおける手法の評価。
• ノード属性を組み込むことでスケーラビリティと性能向上が達成されるかの検証。

提案手法

• DyHATRは、ノードレベルおよびエッジレベルのアテンションを用いた階層的アテンション機構を採用し、静的ネットワークスナップショットにおける非均質性をモデル化する。
• 時間的アテンションRNN（GRUまたはLSTM）を用いて、連続するスナップショットを符号化し、時間経過に伴うノード表現の進化を学習する。
• 階層的アテンションモジュールは、異なるノード型およびエッジ型にわたるアテンション重みを計算し、各スナップショットにおける情報量の多い構造的パターンを優先する。
• 時間的RNNは時間軸にわたるアテンションを統合し、重要なスナップショットを強調し、長期的な進化傾向を捉える。
• ノード表現は、非均質な構造と時間的ダイナミクスの両方を用いて反復的に更新され、最終的な埋め込み表現は下流のリンク予測に使用される。
• ノードIDとオプションのノード属性を入力特徴としてサポートし、属性付きネットワークへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、動的ネットワークにおける非均質なネットワーク構造と時間的進化を効果的にモデル化できるか？
• RQ2 標準的なメタパスベース手法と比較して、階層的アテンションは非均質な静的スナップショットにおける表現学習をどのように改善するか？
• RQ3 RNNにおける時間的アテンションは、動的ネットワークにおける長期的進化パターンのモデル化をどの程度向上させるか？
• RQ4 アテンションヘッド数や埋め込み次元などのハイパーパrameterが、動的リンク予測のパフォーマンスに与える影響はいかほどか？
• RQ5 ノード属性の組み込みにより、実世界の属性付き動的非均質ネットワークにおけるリンク予測性能がさらに向上するか？

主な発見

• ECommデータセットでは、ノードIDに加えて属性を用いたDyHATRがAUROC 0.704を達成し、ノードIDのみのベースライン（0.690）を上回った。
• Twitterデータセットでは、DyHATR-TGRUがAUROC 0.688を達成し、動的リンク予測において最先端のベースラインを著しく上回った。
• 時間的アテンションとGRU/LSTMの組み合わせは、単独で用いる場合よりも優れた性能を示し、アテンションRNNアーキテクチャの有効性を裏付けた。
• 最適なパフォーマンスは、階層的アテンションで4つのアテンションヘッド、時間的アテンションで8つのアテンションヘッド、埋め込み次元が32の組み合わせで達成され、最高のAUROCが得られた。
• より細かいスナップショットの時間分解能（例：1日間隔）は、粗い間隔（例：2日間隔）よりも性能を向上させた。これは、高い時間的分解能の利点を確認するものである。
• トレーニング時間はメタパス2vecベースの手法よりもわずかに長く（DyHATR-TGRUで579秒、metapath2vec-GRUで475秒）、しかし性能の向上がコストを補って余りある。