[論文レビュー] Explainable, Stable, and Scalable Graph Convolutional Networks for Learning Graph Representation

Ping-En Lu, Cheng‐Shang Chang|arXiv (Cornell University)|Sep 22, 2020

Advanced Graph Neural Networks参考文献 50被引用数 7

ひとこと要約

本稿では、ネットワーク埋め込み、トレース最大化、モジュラリティ行列の行列分解の等価性を活用して、安定的で解釈可能かつスケーラブルなノード表現を学習する2つの新しいグラフ畳み込みネットワーク—CAFE-GCN および sphere-GCN—を提案する。両手法は、スパースグラフ上で線形時間アルゴリズムを用いてモジュラリティ行列の主要固有ベクトルを近似し、ノード分類およびリンク予測において最先端の性能を達成するとともに、クラスタリングに基づく特徴学習によって次元削減と解釈可能性を実現する。

ABSTRACT

The network embedding problem that maps nodes in a graph to vectors in Euclidean space can be very useful for addressing several important tasks on a graph. Recently, graph neural networks (GNNs) have been proposed for solving such a problem. However, most embedding algorithms and GNNs are difficult to interpret and do not scale well to handle millions of nodes. In this paper, we tackle the problem from a new perspective based on the equivalence of three constrained optimization problems: the network embedding problem, the trace maximization problem of the modularity matrix in a sampled graph, and the matrix factorization problem of the modularity matrix in a sampled graph. The optimal solutions to these three problems are the dominant eigenvectors of the modularity matrix. We proposed two algorithms that belong to a special class of graph convolutional networks (GCNs) for solving these problems: (i) Clustering As Feature Embedding GCN (CAFE-GCN) and (ii) sphere-GCN. Both algorithms are stable trace maximization algorithms, and they yield good approximations of dominant eigenvectors. Moreover, there are linear-time implementations for sparse graphs. In addition to solving the network embedding problem, both proposed GCNs are capable of performing dimensionality reduction. Various experiments are conducted to evaluate our proposed GCNs and show that our proposed GCNs outperform almost all the baseline methods. Moreover, CAFE-GCN could be benefited from the labeled data and have tremendous improvements in various performance metrics.

研究の動機と目的

• 大規模グラフ表現学習における既存のグラフニューラルネットワークの解釈不能性とスケーラビリティの低さを解決すること。
• サンプルグラフにおけるネットワーク埋め込み、トレース最大化、モジュラリティ行列の行列分解の理論的等価性を確立すること。
• モジュラリティ行列の主要固有ベクトルを近似することで、安定的でスケーラブルかつ解釈可能なノード表現を生成するGCNベースのアルゴリズムを開発すること。
• スパースグラフにおける線形時間実装を用いて次元削減を実現し、ノード分類およびリンク予測の性能を向上させること。

提案手法

• サンプルドグラフにおけるネットワーク埋め込み問題を、モジュラリティ行列のトレース最大化および行列分解と関連づける等価な制約付き最適化問題に定式化する。
• CAFE-GCNを提案する。クラスタリングの結果を特徴埋め込みとして用い、ソフトマックスクラスタリングアルゴリズムを特定の種類のGCNとして定式化し、主要固有ベクトルを近似する。
• sphere-GCNを導入する。モジュラリティ行列の主要固有ベクトルに一致するように反復的にノード表現を更新する安定なトレース最大化アルゴリズムである。
• グラフのスパarsityを活用することで、両アルゴリズムの線形時間実装を導出し、数百万ノードを含む大規模グラフへのスケーラビリティを確保する。
• 固有ベクトルの正規直交基底およびモジュラリティ行列のスペクトル特性を用いて、収束性および近似誤差の境界を理論的に証明する。
• sphere-GCNにおいて再正規化と凸結合更新を適用し、トレース目的関数の単調な改善を保証する。

実験結果

リサーチクエスチョン

• RQ1 サンプルドグラフにおいて、ネットワーク埋め込み問題は、モジュラリティ行列のトレース最大化および行列分解問題として等価に定式化可能か？
• RQ2 クラスタリングの結果をどのように体系的に活用することで、GCNフレームワーク内での解釈可能で安定したノード埋め込みを生成できるか？
• RQ3 スパースグラフにおける大規模なグラフにスケーラブルなモジュラリティ行列に基づく固有ベクトル近似のための線形時間アルゴリズムを設計可能か？
• RQ4 提案されたGCNは、ノード分類およびリンク予測タスクにおいて、既存手法をどの程度上回るか？
• RQ5 ラベル付きデータを組み込むことで、CAFE-GCNの半教師あり設定における性能はどの程度向上するか？

主な発見

• sphere-GCNは、ベンチマークデータセットにおけるノード分類およびリンク予測タスクで、ほぼすべてのベースライン手法を上回る性能を達成した。
• CAFE-GCNは、補助情報を利用せずにSplineCNNと同等の準最先端性能をCoraデータセットで達成した。
• 半教師ありCAFE-GCNは、ラベル付きデータが利用可能になると、複数の指標で顕著な性能向上を示した。
• CAFE-GCNおよびsphere-GCNの両方とも、ノード表現学習と併せて効果的な次元削減が可能である。
• 理論的分析により、sphere-GCNがトレース目的関数を単調に増加させることを確認し、収束性と安定性を保証した。
• 両アルゴリズムの線形時間実装はスパースグラフにおいて実現可能であり、数百万ノードを含む大規模グラフへのスケーラビリティを実現した。