[論文レビュー] Keep It Simple: Graph Autoencoders Without Graph Convolutional Networks

Guillaume Salha-Galvan, Romain Hennequin+1 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Graph Neural Networks参考文献 35被引用数 22

ひとこと要約

本稿では、グラフ自己符号化器（AE）および変分自己符号化器（VAE）におけるグラフ畳み込みネットワーク（GCN）の置き換えとして、隣接行列に基づく単純な線形エンコーダを提案する。その単純さにもかかわらず、Cora、Citeseer、PubMedを含む多様な実世界のグラフにおいて、リンク予測およびノードクラスタリングのタスクで競争力ある性能を達成し、標準ベンチマークにおいて複雑なGCNエンコーダの必要性を疑問視する。

ABSTRACT

Graph autoencoders (AE) and variational autoencoders (VAE) recently emerged as powerful node embedding methods, with promising performances on challenging tasks such as link prediction and node clustering. Graph AE, VAE and most of their extensions rely on graph convolutional networks (GCN) to learn vector space representations of nodes. In this paper, we propose to replace the GCN encoder by a simple linear model w.r.t. the adjacency matrix of the graph. For the two aforementioned tasks, we empirically show that this approach consistently reaches competitive performances w.r.t. GCN-based models for numerous real-world graphs, including the widely used Cora, Citeseer and Pubmed citation networks that became the de facto benchmark datasets for evaluating graph AE and VAE. This result questions the relevance of repeatedly using these three datasets to compare complex graph AE and VAE models. It also emphasizes the effectiveness of simple node encoding schemes for many real-world applications.

研究の動機と目的

• グラフ自己符号化器（AE）および変分自己符号化器（VAE）が、グラフ畳み込みネットワーク（GCN）を用いずに競争力ある性能を達成できるかどうかを調査すること。
• GCNベースのモデルと比較して、隣接行列に基づく最小限の線形エンコーダの有効性を評価すること。
• グラフ表現学習における最先端の性能を達成するためには、複雑なGCNエンコーダが不可欠であるという仮定を疑うこと。
• 広く使われている引用ネットワーク（例：Cora、Citeseer、PubMed）が、高度な自己符号化器モデルを妥当に評価するのに十分な複雑さを持っているかどうかを評価すること。

提案手法

• グラフAEおよびVAEにおけるGCNエンコーダを、隣接行列Aに適用される単一の線形変換に置き換える。パラメータは単一の重み行列Wで定義される。
• 内積デコーダを用いる：Â = σ(ZZᵀ)，ここでZ = WᵀAであり、σはシグモイド関数である。
• Âと真の隣接行列Aの間の重み付き交差エントロピー再構成損失を勾配降下法で最小化することでモデルを学習する。
• VAEの場合、再パラメトリゼーショントリックを適用し、潜在ベクトルにガウス事前分布を適用する。平均および対数分散は線形エンコーダによって予測される。
• AEおよびVAEの両フレームワークに同一の線形エンコーダを適用し、同じデコーディング機構を維持する。
• 多様な実世界のグラフにおいて、リンク予測（AUC、AP）およびノードクラスタリング（NMI、調整ランダムインデックス）のパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 隣接行列に基づく単純な線形エンコーダは、グラフ自己符号化器においてGCNベースのエンコーダを上回るか？
• RQ2 広く使われている引用ネットワーク（Cora、Citeseer、PubMed）は、高度なグラフ自己符号化器モデルを意味的に評価するのに十分な複雑さを持っているか？
• RQ3 密度、サイズ、構造などのグラフ特性において、GCNエンコーダは線形エンコーダに比べて顕著な利点を示すか？
• RQ4 メッセージパッシングや多層アグリゲーションなしに、最小限の線形モデルがリンク予測およびノードクラスタリングで競争力ある性能を達成できるか？

主な発見

• 線形AEおよびVAEモデルは、Cora、Citeseer、PubMedを含むすべてのテストデータセットにおいて、リンク予測で競争力あるAUCおよびAPスコアを達成しており、GCNベースのモデルと同等またはそれを上回ることが多い。
• DBLP、Blogs、Proteins、Googleウェブグラフでは、線形AEのAUCスコアが98.34%（Arxiv-HepTh）、線形VAEが98.35%（Arxiv-HepTh）に達し、GCNベースのモデルと同等の性能を示している。
• ノードクラスタリングにおいて、線形AEおよびVAEはCora-largerでNMIスコア最大0.946、DBLPで0.952を達成し、GCNベースのモデルと同等またはそれを上回っている。
• ProteinsやGoogleのような密なグラフでは、線形モデルとGCNベースのモデルの性能差が最小限に抑えられており、GCNの利点がこのような状況では限定的であることが示唆される。
• スパースな引用ネットワーク（Cora、Citeseer、PubMed）では、線形モデルがGCNベースのモデルと同等またはそれ以上の性能を示しており、高階の相互作用がこの状況では必ずしも必要でないことを示している。
• 著者らは、現在のベンチマークデータセットは、GCNエンコーダの複雑さを正当化するのに十分に複雑ではない可能性があると結論づけている。