[論文レビュー] EPNE: Evolutionary Pattern Preserving Network Embedding

Junshan Wang, Yilun Jin+2 more|arXiv (Cornell University)|Sep 24, 2020

Complex Network Analysis Techniques参考文献 28被引用数 6

ひとこと要約

EPNE は、因果畳み込みを用いて時周波数ドメインでのノード局所構造をモデル化することで、静的ネットワーク構造と進化的パターン（周期的および非周期的）の両方を保持する時系列ネットワーク埋め込みモデルである。構造的および時間的目的関数を共同で最適化し、AMiner や DBLP などの実世界ネットワークにおいて、ノード分類およびエッジ分類タスクで最先端の手法を上回る性能を発揮する。

ABSTRACT

Information networks are ubiquitous and are ideal for modeling relational data. Networks being sparse and irregular, network embedding algorithms have caught the attention of many researchers, who came up with numerous embeddings algorithms in static networks. Yet in real life, networks constantly evolve over time. Hence, evolutionary patterns, namely how nodes develop itself over time, would serve as a powerful complement to static structures in embedding networks, on which relatively few works focus. In this paper, we propose EPNE, a temporal network embedding model preserving evolutionary patterns of the local structure of nodes. In particular, we analyze evolutionary patterns with and without periodicity and design strategies correspondingly to model such patterns in time-frequency domains based on causal convolutions. In addition, we propose a temporal objective function which is optimized simultaneously with proximity ones such that both temporal and structural information are preserved. With the adequate modeling of temporal information, our model is able to outperform other competitive methods in various prediction tasks.

研究の動機と目的

• 静的構造的近接性を超えた、複雑で変化するノード行動を動的ネットワークでモデル化するためのギャップを埋めること。
• 時間経過に伴うノード局所構造における周期的および非周期的進化的パターンを捉えること。
• 統一された埋め込み空間内で構造的近接性と時間的進化的パターンを共同で最適化すること。
• 時間的ダイナミクスをネットワーク表現学習に統合することで、ノードおよびエッジ分類の性能を向上させること。

提案手法

• モデルは、因果畳み込みネットワークを用いた時周波数解析により、ノードの進化的パターンを周期的および非周期的成分に分解する。
• ノード局所構造の時周波数表現を学習することで、複数スケールの時間的ダイナミクス（複雑な周期性や単調な傾向を含む）を捉える。
• 学習された進化的パターンを埋め込み空間に保持するための時間的目的関数を導入し、標準的な近接性目的関数と共同で最適化する。
• 時間ステップ間での表現を整列させるためにスムーズネス項を用い、時間的一致性を確保する。
• 履歴長のハイパーパrameterを組み込み、AMinerでは h=12 時間ステップ（48 年）で最適な性能が得られることを観察した。
• 構造的および時間的目的関数の重み付き組み合わせを用い、最適なバランスは α≈1 で達成された。

実験結果

リサーチクエスチョン

• RQ1 周期的および非周期的両方の進化的パターンを、動的ネットワーク埋め込みで効果的にモデル化する方法は何か？
• RQ2 構造的および時間的目的関数を共同で最適化することで、別々に学習する場合と比較して表現品質が向上するか？
• RQ3 時間的特徴タイプ（周期的対非周期的）の違いが、下流の予測タスクに与える影響は何か？
• RQ4 履歴長、時間的重み、スケール数といったハイパーパrameterがモデル性能に与える影響は何か？
• RQ5 EPNE は静的および既存の動的ネットワーク埋め込みモデルに比べ、クラスタリングおよび分類性能を向上させられるか？

主な発見

• EPNE は AMiner におけるエッジ分類タスクで DeepWalk、DynamicTriad、HTNE を上回り、完全なモデル（EPNE）が最高の性能を達成した。
• アブレーションスタディの結果、周期的および非周期的時間的特徴を併用することで、単独で使用する場合よりも優れた結果が得られ、EPNE-f（周期的特徴のみ）は EPNE-t（非周期的特徴のみ）よりも優れた性能を示した。
• スムーズネス項は性能を顕著に向上させ、EPNE-no-smooth（β=0）では精度が著しく低下しており、時間的一致性を確保する上でその重要性が裏付けられた。
• 履歴長 h=12 時間ステップ（48 年）で最適な性能が達成され、それ以上に延長すると古くなった情報が影響し、性能が低下した。
• 時間的重み α≈1 が構造的および時間的目的関数のバランスを最適に保ち、極端な値（小さすぎたり大きすぎたり）では性能が劣化した。
• スケール数 L を増やすことで性能が向上し、L が高くなるほど複数スケールの時間的パターンの表現が向上した。