[論文レビュー] Dynamic Node Embeddings from Edge Streams

John Boaz Lee, Tien Giang Nguyen+4 more|arXiv (Cornell University)|Apr 12, 2019

Epigenetics and DNA Methylation参考文献 94被引用数 7

ひとこと要約

本稿では、時間的に有効なランダムウォークを用いてエッジストリームから直接動的ノード埋め込みを学習する Continuous-Time Dynamic Network Embeddings (CTDNE) というフレームワークを提案する。静的スナップショット近似の欠点を回避し、オンラインストリーミング対応により、時間的依存性を最小時間スケールでモデル化することで、全データセットで平均11.9%のAUC向上を達成した。

ABSTRACT

Networks evolve continuously over time with the addition, deletion, and changing of links and nodes. Such temporal networks (or edge streams) consist of a sequence of timestamped edges and are seemingly ubiquitous. Despite the importance of accurately modeling the temporal information, most embedding methods ignore it entirely or approximate the temporal network using a sequence of static snapshot graphs. In this work, we propose using the notion of temporal walks for learning dynamic embeddings from temporal networks. Temporal walks capture the temporally valid interactions (e.g., flow of information, spread of disease) in the dynamic network in a lossless fashion. Based on the notion of temporal walks, we describe a general class of embeddings called continuous-time dynamic network embeddings (CTDNEs) that completely avoid the issues and problems that arise when approximating the temporal network as a sequence of static snapshot graphs. Unlike previous work, CTDNEs learn dynamic node embeddings directly from the temporal network at the finest temporal granularity and thus use only temporally valid information. As such CTDNEs naturally support online learning of the node embeddings in a streaming real-time fashion. Finally, the experiments demonstrate the effectiveness of this class of embedding methods that leverage temporal walks as it achieves an average gain in AUC of 11.9% across all methods and graphs.

研究の動機と目的

• ネットワークの時間的ダイナミクスを無視するか、不十分に近似する既存のノード埋め込み手法の限界を解消すること。
• 最小時間スケールで、連続するエッジストリームから直接動的ノード埋め込みを学習するフレームワークを開発すること。
• 時間的に有効な相互作用を用いて、リアルタイム応用に適したオンラインで段階的な学習を可能にすること。
• 動的ネットワークを離散的静的スナップショットに近似することに起因する情報損失や無効な順序を回避すること。
• 時間に配慮したウォークを組み込むことで、既存のランダムウォークベースの埋め込み手法を動的ネットワークに一般化すること。

提案手法

• 時間的ウォーク（時系列順序を尊重し、未来から過去への遷移を含まない有効なエッジの連鎖）を導入し、時間的整合性を保証する。
• 時間的ウォークに基づく、連続的時間動的ネットワーク埋め込み（CTDNE）の一般枠組みを定式化し、均一およびバイアス付きウォークの両方をサポートする。
• 最新の相互作用や頻度の高い相互作用を優遇する時間的重み付けおよびバイアス関数を統合し、時間的関連性を向上させる。
• 変換関数 φ を用いてノード特徴量を統合することで、属性付き時間的ウォークをサポートし、特徴に基づくウォークサンプリングを可能にする。
• スイップ・グラムモデルと互換性があり、重み付き時間的ウォークをスイップ・グラム目的関数に組み込むことで表現学習を実現する。
• オンライン学習を自然にサポートし、新しいエッジがリアルタイムに到着するたびに段階的な更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 時間的スナップショットとして離散化する近似を用いずに、エッジストリームから直接動的ノード埋め込みを学習する方法は何か？
• RQ2 時間的に有効なウォークを用いることで、学習されたノード表現の品質にどのような影響があるか？
• RQ3 既存のランダムウォークベースの埋め込み手法を動的ネットワークに適応できる一般枠組みを設計できるか？
• RQ4 時間的重み付けおよびバイアスが、動的ノード埋め込みの性能に与える影響は何か？
• RQ5 提案手法が、リアルタイム応用におけるオンラインストリーミング学習をどの程度サポートできるか？

主な発見

• CTDNEフレームワークは、評価された全データセットおよび手法で平均11.9%のAUC向上を達成した。
• 時間的に有効なウォークを用いることで、静的スナップショットベースのアプローチで性能が低下する無効な順序を回避した。
• フレームワークはオンライン学習をサポートしており、新しいエッジがストリームで到着するたびにリアルタイムでの更新が可能で、時間的に敏感な応用に適している。
• 時間的重み付けおよびバイアス機構により、最近の相互作用や頻度の高い相互作用を強調することで、表現品質が顕著に向上した。
• 既存の埋め込み技術への一般化がうまくいっており、最小限の変更で動的ネットワークに適応可能である。
• 実験により、最小時間スケールでの原始的エッジストリームからの学習が、スナップショット近似よりも正確で時間的に整合性の高い埋め込みをもたらすことが確認された。