[論文レビュー] Streaming Graph Neural Networks

Yao Ma, Ziyi Guo+4 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Graph Neural Networks参考文献 32被引用数 23

ひとこと要約

本稿では、エッジの相互作用の順序と時間間隔を捉えることで、進化するグラフ内の時間的ダイナミクスをモデル化する、新たなフレームワークである動的グラフニューラルネットワーク（DGNN）を提案する。ノード表現を段階的に更新し、影響を受けるノードに相互作用情報を伝播させる。実世界の動的グラフにおいて、リンク予測およびノード分類の性能を顕著に向上させる。

ABSTRACT

Graphs are essential representations of many real-world data such as social networks. Recent years have witnessed the increasing efforts made to extend the neural network models to graph-structured data. These methods, which are usually known as the graph neural networks, have been applied to advance many graphs related tasks such as reasoning dynamics of the physical system, graph classification, and node classification. Most of the existing graph neural network models have been designed for static graphs, while many real-world graphs are inherently dynamic. For example, social networks are naturally evolving as new users joining and new relations being created. Current graph neural network models cannot utilize the dynamic information in dynamic graphs. However, the dynamic information has been proven to enhance the performance of many graph analytic tasks such as community detection and link prediction. Hence, it is necessary to design dedicated graph neural networks for dynamic graphs. In this paper, we propose DGNN, a new {\bf D}ynamic {\bf G}raph {\bf N}eural {\bf N}etwork model, which can model the dynamic information as the graph evolving. In particular, the proposed framework can keep updating node information by capturing the sequential information of edges (interactions), the time intervals between edges and information propagation coherently. Experimental results on various dynamic graphs demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 従来のグラフニューラルネットワークが動的グラフを静的とみなすという制限を解決し、時間的進化パターンを捉える。
• 順序付けられたエッジ相互作用とそれらの間の時間間隔を捉えるフレームワークを構築し、動的グラフにおけるノード表現学習を向上させる。
• 新しいエッジの到着に伴い、ノード特徴量をリアルタイムで段階的に更新し、情報伝播の整合性を維持する。
• 影響を受けるノードへの時間に配慮した伝播が、リンク予測やノード分類などの動的グラフタスクの性能に与える影響を調査する。

提案手法

• エッジの到着を逐次処理する動的グラフニューラルネットワーク（DGNN）を導入し、相互作用の順序と時間間隔に基づいてノード表現を更新する。
• 各新しいエッジの時間的文脈（同じノードとの前回の相互作用からの経過時間含む）を組み込む学習可能更新メカニズムを用いる。
• 影響力の強さと時間減衰に基づいて、隣接ノードに相互作用情報を伝播させる時間に配慮した伝播コンponentを適用する。
• 閾値に基づく伝播戦略を定義し、τによって制御される一定の時間ウィンドウ内にあるノードにのみ更新情報を提供することで、古くなった相互作用によるノイズを低減する。
• 更新と伝播コンponentを統合したフレームワークを構築し、オンライン学習と段階的推論をサポートする。
• メッセージパッシングメカニズムを時間的グラフに適応させ、メッセージが特徴情報に加え時間的情報（例：時間差）を搭載する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、動的グラフにおけるエッジ到着の順序をどのように効果的にモデル化できるか？
• RQ2 相互作用間の時間間隔がノード表現学習および情報伝播に与える影響は何か？
• RQ3 古くさかったり距離が遠い相互作用からのノイズを最小限に抑えながら、影響を受けるノードに効率的に相互作用情報を伝播する方法は何か？
• RQ4 時間的ダイナミクスを組み込むことで、リンク予測やノード分類などの下流タスクの性能がどの程度向上するか？
• RQ5 再訓練を再び行わずに、リアルタイムのグラフ進化を処理できるスケーラブルで段階的なフレームワークを設計できるか？

主な発見

• DGNNは、時間的ダイナミクスをモデル化することで、実世界の動的グラフにおいてリンク予測およびノード分類の性能を顕著に向上させる。
• MRRの観点から、伝播閾値τが50に達するまで性能が向上する。これは、中程度の数の影響を受けるノードに情報を伝播させることで学習が向上することを示唆している。
• τ > 50 を超えると、性能は頭打ちまたはわずかに低下する。これは、非常に古くまたは遠くの隣接ノードに情報を伝播させると、有用な情報ではなくノイズが混入する可能性があることを示している。
• 時間に配慮した更新メカニズムは、ECグラフにおけるユーザーの最新の関心など、ノードの好みの変化を効果的に捉えている。
• 伝播コンponentは、関連する隣接ノードに相互作用信号を効果的にブロードキャストできており、計算コストを過剰に増加させることなく表現品質を向上させている。
• このフレームワークは、効率的かつ段階的な更新を可能としており、ストリーミンググラフにおけるリアルタイム応用に適している。