[論文レビュー] A Survey on Dynamic Network Embedding

Yu Xie, Chunyi Li+3 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 47被引用数 25

ひとこと要約

本サーベイは、動的ネットワーク埋め込み（DNE）手法について包括的な概要を提示し、5つのタイプに分類する：行列因子分解ベース、Skip-Gramベース、オートエンコーダー基地、ニューラルネットワークベース、およびその他の手法。データセット、下流タスク、スケーラビリティ、異種ネットワーク、属性付きネットワーク、タスク指向学習、マルチ埋め込み空間といった主要な課題を体系的にレビューし、進化するネットワーク表現学習分野における今後の研究の基盤を提供する。

ABSTRACT

Real-world networks are composed of diverse interacting and evolving entities, while most of existing researches simply characterize them as particular static networks, without consideration of the evolution trend in dynamic networks. Recently, significant progresses in tracking the properties of dynamic networks have been made, which exploit changes of entities and links in the network to devise network embedding techniques. Compared to widely proposed static network embedding methods, dynamic network embedding endeavors to encode nodes as low-dimensional dense representations that effectively preserve the network structures and the temporal dynamics, which is beneficial to multifarious downstream machine learning tasks. In this paper, we conduct a systematical survey on dynamic network embedding. In specific, basic concepts of dynamic network embedding are described, notably, we propose a novel taxonomy of existing dynamic network embedding techniques for the first time, including matrix factorization based, Skip-Gram based, autoencoder based, neural networks based and other embedding methods. Additionally, we carefully summarize the commonly used datasets and a wide variety of subsequent tasks that dynamic network embedding can benefit. Afterwards and primarily, we suggest several challenges that the existing algorithms faced and outline possible directions to facilitate the future research, such as dynamic embedding models, large-scale dynamic networks, heterogeneous dynamic networks, dynamic attributed networks, task-oriented dynamic network embedding and more embedding spaces.

研究の動機と目的

• 現実のネットワークの時間的変化を捉えることに失敗する静的ネットワーク埋め込みの限界を解消すること。
• 初めてとして、既存の動的ネットワーク埋め込み技術の体系的分類体系を提示すること。
• 動的ネットワーク埋め込みによって可能になる広く使われているデータセットと下流の機械学習タスクを要約すること。
• 動的ネットワーク表現学習分野における重要な未解決課題を特定し、有望な今後の研究方向性を提案すること。

提案手法

• 動的ネットワーク埋め込みのための新規5カテゴリー分類体系を提案：行列因子分解ベース、Skip-Gramベース、オートエンコーダー基地、ニューラルネットワークベース、およびその他の手法。
• 動的ネットワークを2種類に分類：スナップショットベース（離散的な時間間隔）と連続時刻（タイムスタンプ付きエッジ）のモデル。
• 各カテゴリに属する代表的モデルをレビューし、DeepWalk、node2vec、LINE、SDNEの時間的拡張版、およびDANEやEOEのようなオートエンコーダー基地アプローチを含む。
• ネットワークの進化に伴う構造的および時間的ダイナミクスを保持するためのモデル設計原則を分析。
• リンク予測、ノード分類、クラスタリングなどの下流タスクを通じて埋め込み品質を評価するフレームワークを導入。
• 表現能力を向上させるとともに、複雑なネットワークダイナミクスを保持するためのマルチスペース埋め込みパラダイムを提案。

実験結果

リサーチクエスチョン

• RQ1 動的ネットワーク埋め込み手法は、ネットワーク構造を保持しつつ、どのようにして時間的変化を効果的に捉えることができるか？
• RQ2 スナップショットベースと連続時刻モデルの間には、どのような主な違いとトレードオフがあるか？
• RQ3 既存のDNE手法は、リンク予測やノード分類といった多様な下流タスクで、どのように性能を発揮するか？
• RQ4 大規模かつ異種ネットワークへのスケーラビリティの課題は、どのようにして克服できるか？
• RQ5 タスク指向型またはマルチ埋め込み空間設計は、動的ネットワーク表現の有効性をどのように向上させることができるか？

主な発見

• 動的ネットワーク埋め込みは、特にリンク予測やノード分類といったタスクにおいて、静的手法を著しく上回る性能を示す。
• Skip-Gramベースのモデル、たとえばDeepWalk や node2vec は、時間経過に伴うノードの系列をモデル化することで、動的ネットワークにおいて強力な性能を発揮する。
• DANE や EOE といったオートエンコーダー基地手法は、進化するネットワークにおける構造的および属性的情報の両方を効果的に保持している。
• 現在のモデルは、大規模な動的ネットワークにおいて、計算コストとメモリ使用量の高さのため、スケーラビリティに課題を抱えている。
• 異種および属性付き動的ネットワークは依然として未開拓であり、ノード／エッジの種別と時間的変化を同時にモデル化できる手法は限られている。
• タスク指向型およびマルチ埋め込み空間アプローチは有望であるが、まだほとんど研究が進んでいないため、今後の研究において大きな機会が存在する。