[論文レビュー] DynWalks: Global Topology and Recent Changes Awareness Dynamic Network Embedding

Chengbin Hou, Han Zhang+2 more|arXiv (Cornell University)|Jul 27, 2019

Advanced Graph Neural Networks参考文献 19被引用数 4

ひとこと要約

DynWalks は、適応的ノード選択方式と効率的なオンライン学習フレームワークを用いて、グローバルなトポロジー保存と最近の構造的変化の両方をバランスさせるオンライン動的ネットワーク埋め込み手法を提案する。既存手法と比較して、グラフ再構築およびリンク予測のタスクで最先端の性能を達成するとともに、壁時計時間も顕著に短縮される。

ABSTRACT

Learning topological representation of a network in dynamic environments has recently attracted considerable attention due to the time-evolving nature of many real-world networks i.e. nodes/links might be added/removed as time goes on. Dynamic network embedding aims to learn low dimensional embeddings for unseen and seen nodes by using any currently available snapshots of a dynamic network. For seen nodes, the existing methods either treat them equally important or focus on the $k$ most affected nodes at each time step. However, the former solution is time-consuming, and the later solution that relies on incoming changes may lose the global topology---an important feature for downstream tasks. To address these challenges, we propose a dynamic network embedding method called DynWalks, which includes two key components: 1) An online network embedding framework that can dynamically and efficiently learn embeddings based on the selected nodes; 2) A novel online node selecting scheme that offers the flexible choices to balance global topology and recent changes, as well as to fulfill the real-time constraint if needed. The empirical studies on six real-world dynamic networks under three different slicing ways show that DynWalks significantly outperforms the state-of-the-art methods in graph reconstruction tasks, and obtains comparable results in link prediction tasks. Furthermore, the wall-clock time and complexity analysis demonstrate its excellent time and space efficiency. The source code of DynWalks is available at https://github.com/houchengbin/DynWalks

研究の動機と目的

• 既存の動的ネットワーク埋め込み手法における高い計算複雑性と、グローバルなトポロジー保存の不足を解決すること。
• 厳密な時間制約下でも大規模な動的ネットワークに対してリアルタイム学習を可能にすること。
• グローバルなネットワーク構造とローカルな変化の両方に注意を配れる柔軟なノード選択戦略の開発。
• 完全な再トレーニングなしに、進化するスナップショット間で埋め込み品質を維持すること。
• 実世界の動的ネットワークにおけるオンライン展開に適した高い効率性とスケーラビリティを達成すること。

提案手法

• DynWalks は、変更を加えた DeepWalk を基盤とするオンラインネットワーク埋め込みフレームワークを採用し、各時刻ステップで選択されたノードのみを用いて埋め込みを段階的に更新する。
• トポロジー全体への影響と最近の変化への影響に基づき、優先度を設定する新規なノード選択方式を導入し、ハイパーパrameter α と β で制御される。
• 現在のステップ t の初期化に、直前のステップ t−1 の埋め込みを用いることで、収束性と安定性が向上する。
• フレームワークは、トポロジカル感度と変化影響に基づき、通常はネットワーク全体の割合 α のノードのサブセットを動的に選択する。
• β を通じたグローバル構造の認識と、α を通じた最近の変化への対応性をバランスさせることで、正確性と速度のトレードオフを可能にする。
• 影響を受けるノードに限定して処理し、インクリメンタル最適化を活用することで、完全な再トレーニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 大規模に進化するネットワークにおいて、リアルタイム制約を満たすのに十分な効率性を持つ動的ネットワーク埋め込みはどのように実現できるか？
• RQ2 ローカルな変化に応答しつつ、ネットワークのグローバルなトポロジーをどの程度保持できるか？
• RQ3 全ネットワーク再トレーニングに比べて、選択的ノード更新戦略が正確性と効率性の両面で優れているとは言えるか？
• RQ4 グローバルなトポロジー認識と最近の変化への対応性のバランスが、下流タスクの性能に与える影響は何か？
• RQ5 直前のステップ t−1 の埋め込みを初期化に用いることで、収束速度と安定性にどのような影響があるか？

主な発見

• 6つの実世界の動的ネットワークと3つのスライシング戦略を用いたグラフ再構築タスクにおいて、DynWalks は最先端の手法を顕著に上回る性能を発揮する。
• リンク予測タスクにおいても、SOTA と同等の性能を達成しており、ネットワークの成長に伴い徐々に向上する。
• BCGD や DynGEM と比較して、壁時計時間を最大90％まで短縮し、大規模ネットワークではオンライン段階の処理時間が1ステップあたり4秒未満にまで低下する。
• 感度分析の結果、α が 0.6 を超えると性能が飽和またはわずかに低下することが示され、ノード選択における最適なバランス点が存在することが判明する。
• t−1 の埋め込みを初期化に用いることで、特にグラフ再構築タスクにおいて安定した性能が維持される。
• 100ステップにわたっても性能劣化が最小限に抑えられ、強力な時間効率を維持するため、スケーラビリティと効率性が保たれる。