[論文レビュー] E-LSTM-D: A Deep Learning Framework for Dynamic Network Link Prediction

Jinyin Chen, Jian Zhang+5 more|arXiv (Cornell University)|Feb 22, 2019

Complex Network Analysis Techniques参考文献 35被引用数 27

ひとこと要約

本稿では、スタックドLSTMネットワークを用いたエンコーダ・デコーダアーキテクチャを活用する、動的ネットワークリンク予測を目的としたエンド・トゥ・エンドの深層学習フレームワークE-LSTM-Dを提案する。本手法は、時間的依存性と構造的特徴を同時に捉え、複数の実世界の動的ネットワークデータセットにおいて、AUC、GMAUC、誤差率という指標で既存手法を上回る最先端の性能を達成した。

ABSTRACT

Predicting the potential relations between nodes in networks, known as link prediction, has long been a challenge in network science. However, most studies just focused on link prediction of static network, while real-world networks always evolve over time with the occurrence and vanishing of nodes and links. Dynamic network link prediction thus has been attracting more and more attention since it can better capture the evolution nature of networks, but still most algorithms fail to achieve satisfied prediction accuracy. Motivated by the excellent performance of Long Short-Term Memory (LSTM) in processing time series, in this paper, we propose a novel Encoder-LSTM-Decoder (E-LSTM-D) deep learning model to predict dynamic links end to end. It could handle long term prediction problems, and suits the networks of different scales with fine-tuned structure. To the best of our knowledge, it is the first time that LSTM, together with an encoder-decoder architecture, is applied to link prediction in dynamic networks. This new model is able to automatically learn structural and temporal features in a unified framework, which can predict the links that never appear in the network before. The extensive experiments show that our E-LSTM-D model significantly outperforms newly proposed dynamic network link prediction methods and obtain the state-of-the-art results.

研究の動機と目的

• 現実のネットワークの時間的変化を捉えることが難しい静的ネットワークリンク予測手法の限界を解消すること。
• 動的ネットワークにおける構造的特徴と時間的特徴を同時にモデル化するエンド・トゥ・エンドの深層学習フレームワークを構築すること。
• まだネットワークに存在しない将来のリンクの予測精度を向上させること。
• 高次元的でスパースかつ非線形なネットワーク進化パターンを効果的に扱えるようにすること。
• 別々の表現学習段階と分類段階を必要としない統合型モデルを提供すること。

提案手法

• E-LSTM-Dモデルは、時系列的なネットワークスナップショットを処理するために、スタックドLSTMネットワークを用いたエンコーダ・デコーダアーキテクチャを採用する。
• エンコーダは、歴史的ネットワークスナップショットを、構造的および時間的情報を含むコンテキストベクトルに圧縮する。
• デコーダは、コンテキストベクトルを用いて将来のタイムステップにおけるネットワークを再構築し、エンド・トゥ・エンドのリンク予測を可能にする。
• 過学習を防ぎ、収束性と局所的構造の保持を向上させるために、損失関数にペナルティ係数βを適用する。
• 再構築と一般化のバランスを取るために、L2距離損失を用いてエンド・トゥ・エンドで学習し、βを適応的に調整する。
• モデルは、トポロジー的および時間的ダイナミクスを符号化する低次元のノード表現を自動で学習する。

実験結果

リサーチクエスチョン

• RQ1 エンド・トゥ・エンドの深層学習モデルは、リンク予測の文脈で、動的ネットワークの構造的および時間的ダイナミクスを効果的に捉えることができるか？
• RQ2 スタックドLSTMを用いたエンコーダ・デコーダアーキテクチャは、従来の類似度ベースまたは埋め込みベースの手法と比較して、動的リンク予測においてどのように異なるか？
• RQ3 履歴スナップショット長やペナルティ係数βといったモデルハイパーパrameterの最適な設定は何か？ これは、安定した性能を発揮するためのものである。
• RQ4 学習された潜在表現は、ノード分類のような後続タスクをサポートするのにどの程度有効か？
• RQ5 エンコーダ層数やユニット数といったモデルの複雑さは、予測精度と一般化性能にどのように影響を与えるか？

主な発見

• E-LSTM-Dは、複数のデータセットで最先端の性能を達成し、AUC、GMAUC、誤差率という指標で、既存の動的ネットワークリンク予測手法を上回った。
• 履歴スナップショット数を5から25に増やすことで性能が向上し、N=10スナップショットで最適な結果が得られ、以降は増益が鈍化した。
• ペナルティ係数β ∈ (1,2] が、一般化と収束性の最良のトレードオフをもたらした。AUCへの影響は最小限であったが、GMAUCと誤差率には顕著な改善が見られた。
• 追加のエンコーダ層を追加することで、GMAUCとAUCにわずかな向上が見られたが、誤差率は低下した。これは、複雑さと性能のトレードオフを示している。
• モデルの潜在特徴は、グローバルおよびローカルなネットワーク構造を効果的に捉えており、他のネットワーク解析タスクへの応用可能性を示唆している。
• 本モデルは、ソーシャルネットワーク（例：Facebook、Enron）、引用ネットワーク（例：Radoslaw、LKML）、共同執筆ネットワークなど、多様なネットワークタイプに対して、堅牢な性能を示した。