[論文レビュー] Graphite: Iterative Generative Modeling of Graphs

Aditya Grover, Aaron Zweig+1 more|arXiv (Cornell University)|Mar 28, 2018

Advanced Graph Neural Networks参考文献 72被引用数 37

ひとこと要約

Graphiteは、推論および新しい反復的復号プロセスにGNNを用いた変分オートエンコーダを用いた大規模グラフ向けの深層生成モデルを提案する。マルチステップのメッセージパッシングによるグラフ再構築の改善を通じて、密度推定、リンク予測、ノード分類の分野で既存手法を上回る性能を発揮する。

ABSTRACT

Graphs are a fundamental abstraction for modeling relational data. However, graphs are discrete and combinatorial in nature, and learning representations suitable for machine learning tasks poses statistical and computational challenges. In this work, we propose Graphite, an algorithmic framework for unsupervised learning of representations over nodes in large graphs using deep latent variable generative models. Our model parameterizes variational autoencoders (VAE) with graph neural networks, and uses a novel iterative graph refinement strategy inspired by low-rank approximations for decoding. On a wide variety of synthetic and benchmark datasets, Graphite outperforms competing approaches for the tasks of density estimation, link prediction, and node classification. Finally, we derive a theoretical connection between message passing in graph neural networks and mean-field variational inference.

研究の動機と目的

• 大規模で離散的かつ組合せ的なグラフ構造データにおける教師なし表現学習の課題に取り組む。
• スケーラビリティと離散的グラフ構造の両方で困難を抱える既存の深層生成モデルの限界を克服する。
• 観測された関係構造をモデル化するためのスケーラブルで置換不変なフレームワークを構築する。
• 反復的精錬を用いたデコーダーで効果的な潜在変数推論とグラフ再構築を可能にする。
• GNNのメッセージパッシングと潜在変数モデルにおける平均場変分推論との理論的関連性を確立する。

提案手法

• エンコーダおよびデコーダの両方でグラフニューラルネットワーク（GNN）を用いて変分オートエンコーダ（VAE）をパrameterizeする。
• 潜在特徴に基づく初期グラフ再構築から始まる、マルチレイヤーの反復的復号手順を採用する。
• 中間グラフ上で内積演算とメッセージパッシングを交互に適用することで、再構築グラフを精錬する。
• GNN層を用いて反復的精錬を実装し、効率的かつスケーラブルなグラフ再構築を可能にする。
• カーネル埋め込みを活用して、GNNのメッセージパッシングと潜在変数モデルにおける平均場変分推論を正式に接続する。
• 観測されたグラフの対数尤度の変分下界を最大化するように、確率的勾配降下法を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 デコーダーにおける反復的グラフ精錬は、単一ステップの復号と比較して、グラフ再構築および表現学習をどのように改善するか？
• RQ2 本手法で提案する反復的復号機構は、既存の自己回帰的または敵対的グラフ生成手法と比較して、スケーラビリティおよび性能面でどのように差をつけるか？
• RQ3 反復的復号プロセスは、リンク予測やノード分類といった下流タスクの性能をどの程度向上させるか？
• RQ4 GNNのメッセージパッシングと潜在変数モデルにおける平均場変分推論との間には、どのような理論的関係があるか？
• RQ5 このフレームワークは、時変的または異種グラフといったより洗練されたグラフ構造のモデリングに拡張可能か？

主な発見

• Graphiteは、合成グラフおよびベンチマークグラフにおける密度推定において、競合手法を上回り、尤度モデリングの向上を示した。
• リンク予測タスクにおいて、GAE や VGAE を含むベースラインモデルと比較して顕著な向上を達成した。
• 半教師ありノード分類においても、実世界のデータセット上で強力な結果を達成し、学習された表現の有効性を示した。
• 反復的復号機構により、単一ステップのデコーダーと比較して、より正確で安定したグラフ再構築が可能になった。
• 理論的分析により、カーネル埋め込みの定式化下で、GNNのメッセージパッシングが平均場変分推論と等価であることが確認された。
• 実験的結果から、反復的精錬戦略が性能に不可欠であることが示され、アブレーションスタディではその除去による性能低下が確認された。