[論文レビュー] Machine Learning on Graphs: A Model and Comprehensive Taxonomy

Ines Chami, Sami Abu-El-Haija+3 more|arXiv (Cornell University)|May 7, 2020

Advanced Graph Neural Networks参考文献 150被引用数 99

ひとこと要約

この survey は network embedding、graph regularization、graph neural networks を GraphEDM フレームワークに統合し、Graph Representation Learning メソッドの包括的な分類とオープンソースライブラリを提供します。

ABSTRACT

There has been a surge of recent interest in learning representations for graph-structured data. Graph representation learning methods have generally fallen into three main categories, based on the availability of labeled data. The first, network embedding (such as shallow graph embedding or graph auto-encoders), focuses on learning unsupervised representations of relational structure. The second, graph regularized neural networks, leverages graphs to augment neural network losses with a regularization objective for semi-supervised learning. The third, graph neural networks, aims to learn differentiable functions over discrete topologies with arbitrary structure. However, despite the popularity of these areas there has been surprisingly little work on unifying the three paradigms. Here, we aim to bridge the gap between graph neural networks, network embedding and graph regularization models. We propose a comprehensive taxonomy of representation learning methods for graph-structured data, aiming to unify several disparate bodies of work. Specifically, we propose a Graph Encoder Decoder Model (GRAPHEDM), which generalizes popular algorithms for semi-supervised learning on graphs (e.g. GraphSage, Graph Convolutional Networks, Graph Attention Networks), and unsupervised learning of graph representations (e.g. DeepWalk, node2vec, etc) into a single consistent approach. To illustrate the generality of this approach, we fit over thirty existing methods into this framework. We believe that this unifying view both provides a solid foundation for understanding the intuition behind these methods, and enables future research in the area.

研究の動機と目的

• 統一されたフレームワーク（GraphEDM）を提案し、監視付きおよび非監視付きのグラフ表現学習法の記述を可能にする。
• 既存の多数の GRL アプローチ（浅い埋め込み、オートエンコーダ、グラフ正則化、GNN）を包含する包括的な分類を提供する。
• スペクトル的および空間的パラダイムを横断して畳み込みベースの GNN を分析する Graph Convolution Framework（GCF）を導入する。
• グラフニューラルネットワークと非ユークリッド学習の広い文脈における本研究の位置づけを示し、利点と制限を概説する。
• 再現性とノード分類およびリンク予測タスクへの適用を可能にするオープンソースの GRL ライブラリを公開する。

提案手法

• グラフ構造と任意のノード特徴をノード埋め込み、再構成された類似度行列、任意のラベル予測にマップするエンコーダ-デコーダモデルとして GraphEDM を導入する。
• GraphEDM の損失を、監督付き損失、グラフ正則化損失、およびパラメータ正則化（L2）の加重和として定義し、監督付きと非監督付きの両方の訓練を可能にする。
• 目的関数の分類を列挙し、監督付き損失、グラフ正則化損失、および正則化ペナルティを含む総損失 L = alpha*L_SUP + beta*L_G,REG + gamma*L_REG を提示する。
• エンコーダを浅い埋め込み、グラフ正則化、グラフオートエンコーディング、近傍集合成（グラフ畳み込みアプローチ） の4つのグループに分類する。
• GraphEDM が既存の手法（例：GraphSAGE、GCN、GAT、DeepWalk、node2vec）を特定のエンコーダ/デコーダの選択によってどのように実現できるかを記述する。
• 高レベルのアーキテクチャ図を提供し、伝導的設定と帰納的設定、特徴量の使用、位置ベース embedding と構造的 embedding の違いを議論する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク埋め込み、グラフ正則化、グラフニューラルネットワークを単一の記述フレームワークに統合するにはどうすればよいか。
• RQ2 広範な GRL 手法を包含し、それらの類似点と相違点を明確にする包括的な分類は何か。
• RQ3 GraphSAGE、GCN、GAT、DeepWalk、node2vec を共通の GraphEDM/Graph Convolution Framework 内でどう表現できるか。
• RQ4 1つのフレームワークの下で、監督付き vs 非監督付き、伝導的 vs 帰納的、位置ベース vs 構造的埋め込みを記述する際にどんな洞察と制限が生じるか。
• RQ5 オープンソースのライブラリが広範な GRL 手法とノード分類やリンク予測のような共通アプリケーションをサポートできるか。

主な発見

• GraphEDM フレームワークは、人気のある半教師あり学習および非教師あり GRL 手法を単一のエンコーダ-デコーダ視点で一般化する。
• 著者らは30 を超える既存の GRL 手法を統一された分類に分類し、それらの関係と差異を明確にする。
• グラフ畳み込みフレームワーク（GCF）は、スペクトルから空間、注意機構ベースの手法まで広がる畳み込みベースの GNN を分析するために導入される。
• さまざまな手法（浅い埋め込み、オートエンコーダ、グラフ正則化、GNN） が GraphEDM に適合する方法を示し、原理的な比較を可能にする。
• オープンソースの GRL ライブラリが提供され、ノード分類やリンク予測などの最先端手法と一般的なグラフ応用をサポートする。