[論文レビュー] DynGEM: Deep Embedding Method for Dynamic Graphs

Palash Goyal, Nitin Kamra+2 more|arXiv (Cornell University)|May 29, 2018

Advanced Graph Neural Networks参考文献 22被引用数 288

ひとこと要約

DynGEM は、深層オートエンコーダと層拡張ヒューリスティックを用いて、成長するグラフ上で安定かつスケーラブルなノード埋め込みを段階的に学習する動的グラフ埋め込み手法で、再構成、リンク予測、安定性の点で静的ベースラインを上回る。

ABSTRACT

Embedding large graphs in low dimensional spaces has recently attracted significant interest due to its wide applications such as graph visualization, link prediction and node classification. Existing methods focus on computing the embedding for static graphs. However, many graphs in practical applications are dynamic and evolve constantly over time. Naively applying existing embedding algorithms to each snapshot of dynamic graphs independently usually leads to unsatisfactory performance in terms of stability, flexibility and efficiency. In this work, we present an efficient algorithm DynGEM based on recent advances in deep autoencoders for graph embeddings, to address this problem. The major advantages of DynGEM include: (1) the embedding is stable over time, (2) it can handle growing dynamic graphs, and (3) it has better running time than using static embedding methods on each snapshot of a dynamic graph. We test DynGEM on a variety of tasks including graph visualization, graph reconstruction, link prediction and anomaly detection (on both synthetic and real datasets). Experimental results demonstrate the superior stability and scalability of our approach.

研究の動機と目的

• 動的で成長するグラフの安定した埋め込みを促進し、可視化、リンク予測、異常検知などの下流タスクに活用する。
• 前の埋め込みを再利用して、時刻ごとに段階的に訓練する、スケーラブルな深層オートエンコーダフレームワークを開発する。
• 以前の重みを保持しつつ、ネットワークアーキテクチャを動的に拡張して成長に対応する。
• 時間経過に伴う埋め込みの一貫性を定量化する安定性指標を導入し、ベースラインと比較する。

提案手法

• ノード近傍を低次元埋め込みへ写像する深層オートエンコーダを用いる（一次近接と二次近接）。
• 時刻 t の埋め込みを時刻 t-1 の埋め込みから初期化して時間的安定性を促進する。
• PropSize ヒューリスティックを用いて新しい層のサイズを決定し、Net2WiderNet/Net2DeeperNet でネットワークを拡張して成長するグラフを扱う。
• 再構成と近接目的のバランスを取る損失 L_net = L_glob + α L_loc + ν1 L1 + ν2 L2 で学習する。
• スケーラビリティと高速な訓練のために ReLU 活性化を用い、過学習を防ぐために Nesterov モーメントと正則化を適用する。
• 定義された安定性定数を用いて安定性を評価し、静的ベースラインと比較してスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 DynGEM は動的で成長するグラフに対して時系列で安定した埋め込みを提供できるか。
• RQ2 前の時刻の埋め込みを再利用することが、訓練効率とスケーラビリティを向上させるか。
• RQ3 静的埋め込みおよび GF ベースのベースラインと比較して、グラフ再構成とリンク予測で DynGEM はどのように性能を示すか。
• RQ4 動的ネットワークの可視化と異常検知にこの手法は有用か。

主な発見

• DynGEM は SYN、ENRON、AS データセットで高いグラフ再構成 MAP を達成する。例: DynGEM MAPs: SYN 0.987, ENRON 0.424; DynGEM はしばしば GF ベースのベースラインを上回り、いくつかのデータセットで SDNE と同等またはそれ以上の性能を示す。
• GF ベースラインおよび SDNE 変種と比較して、リンク予測 MAP がデータセット全体で顕著に向上（例: SYN 0.194, HEP-TH 0.26, AS 0.21, ENRON 0.084）。
• 安定性: DynGEM は SDNE ベースラインより著しく低い安定性定数を達成（例: SYN 0.008 vs SDNE 0.18, HEP-TH 1.469 vs SDNE 14.715, AS 0.125 vs 6.25, ENRON 1.279 vs 19.722）。
• PropSize と Net2WiderNet/Net2DeeperNet による層の拡張は、固定アーキテクチャよりも性能が向上（HEP-TH: 再構成 MAP が 0.46 から 0.491 に、リンク予測が 0.19 から 0.26 に改善）。
• DynGEM は データセット全体で SDNE 系ベースラインと比較して 2-3 倍の速度向上を提供し、長い時系列にも良くスケールする（T=40 を示す）。
• DynGEM は動的埋め込みの可視化と異常検知を可能にする（例: 脈動を伴う Enron の週は既知のイベントに対応。埋め込みの変化 Δt が異常を検出）。