[論文レビュー] Variational Graph Recurrent Neural Networks

Ehsan Hajiramezanali, Arman Hasanzadeh+4 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Graph Neural Networks参考文献 26被引用数 84

ひとこと要約

本論文はVGRNNとSI-VGRNNを導入する。階層的変分モデルで、動的グラフのノードを潜在乱数ベクトルとして埋め込み、進化するトポロジとノード属性を共同でモデル化し、柔軟な後部分布を得るために半暗黙的変分推論を用いる。

ABSTRACT

Representation learning over graph structured data has been mostly studied in static graph settings while efforts for modeling dynamic graphs are still scant. In this paper, we develop a novel hierarchical variational model that introduces additional latent random variables to jointly model the hidden states of a graph recurrent neural network (GRNN) to capture both topology and node attribute changes in dynamic graphs. We argue that the use of high-level latent random variables in this variational GRNN (VGRNN) can better capture potential variability observed in dynamic graphs as well as the uncertainty of node latent representation. With semi-implicit variational inference developed for this new VGRNN architecture (SI-VGRNN), we show that flexible non-Gaussian latent representations can further help dynamic graph analytic tasks. Our experiments with multiple real-world dynamic graph datasets demonstrate that SI-VGRNN and VGRNN consistently outperform the existing baseline and state-of-the-art methods by a significant margin in dynamic link prediction.

研究の動機と目的

• 時間とともにトポロジと属性が進化する動的グラフにおけるノード埋め込みの動機づけ。
• 確率的乱数変数で不確実性を捉える動的グラフオートエンコーダ（GRNN）を提案する。
• 高レベルの潜在変数と半暗黙的変分推論による柔軟な後部分布を用いて表現力を高める。
• 時間条件付き事前分布と自己回帰的グラフ構造を学習して将来のリンク予測を可能にする。

提案手法

• グラフ畳み込みネットワーク（GCN）とリカレントネットワークを組み合わせてグラフリカレントニューラルネットワーク（GRNN）を構築する。
• GRNNを変分エンコーダ/デコーダで拡張し、ノード潜在分布（VGRNN）をモデル化する。
• 事前分布を前の隠れ状態 h_{t-1} に条件付けし、ニューラル写像 φ^{prior} による柔軟な事前分布を可能にする。
• Z^{(t)} 潜在変数を用いて隣接行列を生成する内積デコーダ p(A^{(t)}|Z^{(t)}) を用いる。
• GNNベースのエンコーダを介して後方分布 q(Z^{(t)}|A^{(t)},X^{(t)},h_{t-1}) を推定する。SI-VGRNN には半暗黙拡張を含む。
• 時間を跨いで変分下限（ELBO）を最適化し、動的グラフの時系列依存性を捉える。

実験結果

リサーチクエスチョン

• RQ1 ノード埋め込みで動的グラフの不確実性と時間的進化をどのように表現できるか。
• RQ2 確率的潜在変数をグラフリカレント構造と統合すると、決定論的なベースラインと比較して動的リンク予測は改善されるか。
• RQ3 半暗黙的変分推論は動的グラフ埋め込みに対してより表現力豊かな後方分布を提供できるか。
• RQ4 時間とともにノード/エッジ集合が変化する場合に、誘導的・推論的タスクをどのように扱うか。

主な発見

• VGRNNとSI-VGRNNは、複数の実世界データセットにおける動的リンク予測タスクで、ベースラインおよび最先端の手法を一貫して上回る。
• 確率的潜在変数を導入することで、決定論的な隠れ状態よりも動的グラフの変動性と不確実性のモデリングが改善される。
• SI-VGRNNの半暗黙後方分布はより柔軟な潜在表現を提供し、特にノード属性が利用可能な場合にVGRNNより改善をもたらす。
• 我々のアプローチの利点は、時間的傾向を決定論的モデルでは捉えにくい、より疎でクラスタリングが少ないグラフで特に顕著である。
• 過去の状態に基づく事前分布の構築は、静的 VGAE の能力を超えた将来のリンク予測（新規リンク予測を含む）を可能にする。