[論文レビュー] Inductive Representation Learning in Temporal Networks via Causal Anonymous Walks

Yanbang Wang, Yen‐Yu Chang+3 more|arXiv (Cornell University)|Jan 15, 2021

Advanced Graph Neural Networks参考文献 70被引用数 55

ひとこと要約

CAW-N は Causal Anonymous Walks を用いて時系列ネットワークの帰納的表現を学習し、時間モチーフを捉え、相対的位置情報でノードの同一性を匿名化し、ウォークをニューラルネットワークでエンコードして、正確な帰納的リンク予測を実現する。

ABSTRACT

Temporal networks serve as abstractions of many real-world dynamic systems. These networks typically evolve according to certain laws, such as the law of triadic closure, which is universal in social networks. Inductive representation learning of temporal networks should be able to capture such laws and further be applied to systems that follow the same laws but have not been unseen during the training stage. Previous works in this area depend on either network node identities or rich edge attributes and typically fail to extract these laws. Here, we propose Causal Anonymous Walks (CAWs) to inductively represent a temporal network. CAWs are extracted by temporal random walks and work as automatic retrieval of temporal network motifs to represent network dynamics while avoiding the time-consuming selection and counting of those motifs. CAWs adopt a novel anonymization strategy that replaces node identities with the hitting counts of the nodes based on a set of sampled walks to keep the method inductive, and simultaneously establish the correlation between motifs. We further propose a neural-network model CAW-N to encode CAWs, and pair it with a CAW sampling strategy with constant memory and time cost to support online training and inference. CAW-N is evaluated to predict links over 6 real temporal networks and uniformly outperforms previous SOTA methods by averaged 10% AUC gain in the inductive setting. CAW-N also outperforms previous methods in 4 out of the 6 networks in the transductive setting.

研究の動機と目的

• 見たことのないノードやモチーフへ帰納的に一般化する時系列ネットワーク表現を学習する動機づけ。
• ノードの同一性に依存せず、因果モチーフを通じて三者結合やフィードフォワードループなどの時系列ネットワーク法則を捉える。
• 因果性抽出と集合ベースの匿名化を備えた CAWs を開発し、帰納学習を可能にする。
• CAW-N を提案し、CAWs をエンコードしてオンライン利用のために定常メモリサンプリングで時系列リンクを予測する。
• 帰納的およびトランスダクティブ設定で、六つの実データ時系列ネットワークにおいて最先端性能を示す。

提案手法

• Causal Anonymous Walks (CAWs) を導入し、因果的時系列モチーフをエンコードするために時間的リンクに沿って遡る。
• 複数のウォークにわたって各位置でノード出現回数を数える集合ベースの匿名化を適用し、I_CAW(w;{S_u,S_v}) を作成してモチーフの相関を保持しつつ同一性を除去する。
• CAWs を CAW-N でエンコードする: 各匿名化されたウォークを f1(I_CAW) および時刻差のエンコーディング f2(t_{i-1}-t_i) を用いる RNN でエンコードする。平均プーリングまたは自己注意機構で集約する。
• 時刻差を表現するための時刻特徴量エンコーディングをランダムフーリエ特徴で用いる。
• CAW-N を二値交差エントロピー損失で学習し、CAW サンプリング戦略を用いたオンライン学習を実現する（定常メモリ O(tau/alpha)）。
• 拡張として、X_i を用いた属性や有向リンクをエンコードに組み込み、alpha ベースの時系列減衰を用いた効率的な CAW サンプリングを行う。

実験結果

リサーチクエスチョン

• RQ1 ノードの同一性に依存せず、時系列モチーフの相関を捉えることで、帰納的表現は unseen ノードやモチーフへ一般化できるか。
• RQ2 CAWs と CAW-N エンコーダは unseen ノードや新規リンクへ一般化しつつ、時系列ダイナミクスを保つか。
• RQ3 CAW-N は六つの実データネットワークにおける帰納的およびトランスダクティブなリンク予測で、最先端のベースラインと比較してどう機能するか。
• RQ4 CAW サンプリングパラメータ（M, m, alpha）が予測性能とオンライン規模に与える影響はどの程度か。
• RQ5 属性や有向エッジは CAW-N モデルの有効性にどう影響するか。

主な発見

• CAW-N-mean および CAW-N-attn は、帰納設定で六つの実データネットワークにおいてベースラインを上回り、強力な帰納的リンク予測性能を達成する。
• 帰納タスク、特に新規-新規リンクでは、CAW-N はすべてのデータセットでほとんどのベースラインを大幅に上回る。
• トランスダクティブ設定では、CAW-N は六データセット中四つでほとんどのベースラインを上回り、他と比べて同等またはほぼ最高を達成する。
• I_CAW(w;{S_u,S_v}) という匿名化は、ノードの同一性を除去しつつモチーフの相関を効果的に保持し、堅牢な帰納一般化を可能にする。
• 適切な alpha 値を用いた少数の CAW で競争力のある性能を達成でき、オンライン学習を定常メモリでサポートする。