[論文レビュー] Models for Capturing Temporal Smoothness in Evolving Networks for Learning Latent Representation of Nodes

Tanay Kumar Saha, Thomas J. Williams+3 more|arXiv (Cornell University)|Apr 16, 2018

Advanced Graph Neural Networks参考文献 24被引用数 11

ひとこと要約

本論文は、進化するネットワークにおける時系列に配慮したノード表現を学習するための2つの新しいモデル—リトロフィットドモデルと線形変換ベースモデル—を提案する。リトロフィットド手法では局所的な時系列滑らかさを、線形変換演算子ではグローバルな滑らかさを強制することで、9つの実世界の動的ネットワークにおいてAUC、AUPRC、NDCGの指標で、最先端の手法を顕著に上回る正確な時系列リンク予測を実現する。

ABSTRACT

In a dynamic network, the neighborhood of the vertices evolve across different temporal snapshots of the network. Accurate modeling of this temporal evolution can help solve complex tasks involving real-life social and interaction networks. However, existing models for learning latent representation are inadequate for obtaining the representation vectors of the vertices for different time-stamps of a dynamic network in a meaningful way. In this paper, we propose latent representation learning models for dynamic networks which overcome the above limitation by considering two different kinds of temporal smoothness: (i) retrofitted, and (ii) linear transformation. The retrofitted model tracks the representation vector of a vertex over time, facilitating vertex-based temporal analysis of a network. On the other hand, linear transformation based model provides a smooth transition operator which maps the representation vectors of all vertices from one temporal snapshot to the next (unobserved) snapshot-this facilitates prediction of the state of a network in a future time-stamp. We validate the performance of our proposed models by employing them for solving the temporal link prediction task. Experiments on 9 real-life networks from various domains validate that the proposed models are significantly better than the existing models for predicting the dynamics of an evolving network.

研究の動機と目的

• 従来の静的ネットワーク埋め込み手法が時系列的進化を無視し、解釈可能で時間に整合性のあるノード表現を提供できないという限界に対処すること。
• リトロフィットドスムージングによるノード表現の時間的変化の追跡を通じて、意味のある頂点ベースの時系列分析を可能にすること。
• 線形変換を用いて時系列スナップショット間の滑らかな遷移演算子を学習することで、将来のネットワーク状態予測を支援すること。
• 局所的（ノードレベル）およびグローバル（ネットワークレベル）な時系列滑らかさを捉えることで、時系列リンク予測のパフォーマンスを向上させること。
• 提案手法の有効性を、複数の評価指標を用いて多様な実世界の動的ネットワークで検証すること。

提案手法

• リトロフィットドモデルは、時系列スナップショット間でノード埋め込みを繰り返し精錬することで、各ノードの表現が滑らかに時間経過とともに変化することを保証する。
• 線形変換モデルは、1つの時刻スナップショットのノード埋め込みを次のスナップショットにマッピングするグローバルな変換行列を学習し、将来のネットワーク状態の予測を可能にする。
• 両モデルとも、事前学習済みの静的埋め込み（例：Node2Vec、LINE、PCA）を初期化として用い、その後で時系列スムージング制約を適用して表現を精錬する。
• モデルは、スナップショット間のトポロジー的近接性と時系列的一致性の両方をバランスさせる共同目的関数を用いてエンドツーエンドで訓練される。
• 時系列スムージングは、連続するノード表現間の距離を最小化する正則化項を通じて強制される。
• フレームワークはノードレベルおよびネットワークレベルの両方の時系列スムージングをサポートしており、動的ネットワーク進化の柔軟なモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 リトロフィットドノード埋め込みは、動的ネットワークにおける局所的時系列スムージングを捉え、頂点レベルの時系列分析を向上させることができるか？
• RQ2 学習された線形変換演算子は、現在の埋め込みから将来のネットワーク状態を正確に予測できるか？
• RQ3 提案手法は、多様な実世界の動的ネットワークにおいて、最先端の手法と比較して時系列リンク予測性能に優れているか？
• RQ4 潜在次元数の変化が、提案手法のパフォーマンスに与える影響は何か？
• RQ5 モデルは、時間経過に伴うネットワーク構造の進化をどれほどよく可視化し、追跡できるか？

主な発見

• 初期化にNode2Vecを用いたリトロフィットドモデルは、SMS-AデータセットでBCGDに比べてNDCGが0.07上昇し、エッジ対相互作用比の高いデータセットでも優れた性能を示した。
• Facebookデータセットでは、RET（Node2Vec）がBCGDに比べてAUCで0.21上昇、NDCGで0.60上昇し、タイムスタンプが少ないネットワークでも優れた性能を示した。
• Node2Vecと指数平滑化を組み合わせたHeterLTモデルは、BCGDに比べAUPRCが0.06上昇、NDCGが0.13上昇し、異なるスムージング戦略に対しても頑健であることが示された。
• 潜在次元を32から128に増加させてもパフォーマンスは安定またはわずかに向上し、一部のモデルでNDCGが約2ポイント程度低下するにとどまり、優れた一般化性能を示した。
• リトロフィットドモデルを用いたEnronデータセットの可視化では、2つの離れたノードがエッジを形成する前に埋め込み空間内で徐々に近づく様子が確認され、時系列スムージングの妥当性が裏付けられた。
• 全9データセットおよび3つの指標（AUC、AUPRC、NDCG）において、提案手法はBCGDを常に上回り、大多数のケースで統計的に有意な向上が得られた。