[論文レビュー] DyGCN: Dynamic Graph Embedding with Graph Convolutional Network

Zeyu Cui, Zekun Li+5 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Graph Neural Networks参考文献 48被引用数 10

ひとこと要約

本稿では、動的グラフにおけるノード埋め込みを階層的・順序ベースの方法で変更を伝搬させることで、各時刻における再訓練を伴わず効率的に更新する動的グラフ畳み込みネットワーク、DyGCNを提案する。影響度の順序（直接影響を受けるノードから順に、外側へと伝搬）でノードを更新することで、DyGCNは各時刻における静的GCNモデルの再訓練に比べて顕著な高速化を達成しながら、動的グラフベンチマークにおいて高い性能を維持する。

ABSTRACT

Graph embedding, aiming to learn low-dimensional representations (aka. embeddings) of nodes, has received significant attention recently. Recent years have witnessed a surge of efforts made on static graphs, among which Graph Convolutional Network (GCN) has emerged as an effective class of models. However, these methods mainly focus on the static graph embedding. In this work, we propose an efficient dynamic graph embedding approach, Dynamic Graph Convolutional Network (DyGCN), which is an extension of GCN-based methods. We naturally generalizes the embedding propagation scheme of GCN to dynamic setting in an efficient manner, which is to propagate the change along the graph to update node embeddings. The most affected nodes are first updated, and then their changes are propagated to the further nodes and leads to their update. Extensive experiments conducted on various dynamic graphs demonstrate that our model can update the node embeddings in a time-saving and performance-preserving way.

研究の動機と目的

• 動的グラフにおける各時刻での静的GCNモデルの再訓練の非効率性を解消すること。
• 時間の経過に伴いグラフが変化する中で、ノード埋め込みを段階的にスケーラブルに更新する手法を開発すること。
• 計算コストを最小限に抑えながら、埋め込みの品質を維持すること。
• 構造的な変更伝搬を通じて、GCN埋め込み伝搬メカニズムを動的グラフに一般化すること。
• 局所的変更に基づく段階的更新が、完全再訓練と同等の性能を達成できることを示すこと。

提案手法

• 影響度の順序（1次：直接影響を受けるノード、2次：影響を受けるノードの隣接ノードなど）でノード変更を処理する高次更新メカニズムを提案する。
• グラフのスペクトル的性質を活用して効率的な埋め込み更新を実現する代替戦略として、スペクトル伝搬を導入する。
• 変更を高影響度ノードからその隣接ノードへ段階的に伝搬させる再帰的メッセージパッシング方式を採用する。
• 時刻を跨いで共有された埋め込みパラメータを維持し、影響を受けるノードとその隣接ノードのみを、微分可能な更新ルールで更新する。
• 複数ホップにわたる影響をモデル化するために、各伝搬順序ごとに学習可能な変換行列 $W_k$ を適用する。
• 各時刻ごとに構造的・意味的情報を保持するように最適化された損失関数を用い、バックプロパゲーションを用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 静的GCNモデルの完全再訓練を伴わず、動的グラフにおけるノード埋め込みを効率的に更新することは可能か？
• RQ2 影響度の順序による階層的変更伝搬は、埋め込み品質と計算効率にどのように影響するか？
• RQ3 高次更新とスペクトル伝搬という異なる更新戦略は、性能とスケーラビリティにどのような影響を及ぼすか？
• RQ4 異なるグラフタイプや更新イベントにおいて、影響を受けるノード数とその伝搬深さはどのように変化するか？
• RQ5 静的GCNの再訓練に比べて更新時間を著しく短縮しつつ、下流タスク（例：ノード分類）で高い性能を維持できるか？

主な発見

• DyGCNは、各時刻における静的GCNの再訓練に比べ、更新時間を最大90％短縮し、性能低下は最小限に抑えられる。
• AS、HEP-TH、Facebookの全データセットにおいて、2次更新のDyGCNが最良の性能を達成し、1次および3次更新バージョンを上回る。
• ASデータセットでは、$d=100$ のDyGCNが最高の性能を示したが、より高い次元数（$d=125$）では過学習が生じた。
• 可視化の結果、$W_1$ と $W_2$ は明確で高重量のパターンを学習している一方、$W_3$ と $W_4$ は低く、構造のない重みを示しており、2次以降の学習能力に限界があることが示唆された。
• ヘプ・ス・ト（HEP-TH）のような密なグラフでは、2次更新ノード間の埋め込みが近くなる傾向を示したが、ASのようなスパースなグラフではその影響がより局所的であった。
• Facebookでは1次更新における影響を受けるノード数が平均1637.69と最も高く、大規模ネットワークにおけるエッジ追加への感受性が顕著に現れた。