[論文レビュー] GMNN: Graph Markov Neural Networks

Meng Qu, Yoshua Bengio+1 more|arXiv (Cornell University)|May 15, 2019

Advanced Graph Neural Networks被引用数 146

ひとこと要約

GMNN は条件付きランダムフィールドとグラフニューラルネットワークを変分 EM フレームワークで組み合わせ、半教師付き Relational データのラベル依存関係を同時にモデリングし、オブジェクト表現を学習します。

ABSTRACT

This paper studies semi-supervised object classification in relational data, which is a fundamental problem in relational data modeling. The problem has been extensively studied in the literature of both statistical relational learning (e.g. relational Markov networks) and graph neural networks (e.g. graph convolutional networks). Statistical relational learning methods can effectively model the dependency of object labels through conditional random fields for collective classification, whereas graph neural networks learn effective object representations for classification through end-to-end training. In this paper, we propose the Graph Markov Neural Network (GMNN) that combines the advantages of both worlds. A GMNN models the joint distribution of object labels with a conditional random field, which can be effectively trained with the variational EM algorithm. In the E-step, one graph neural network learns effective object representations for approximating the posterior distributions of object labels. In the M-step, another graph neural network is used to model the local label dependency. Experiments on object classification, link classification, and unsupervised node representation learning show that GMNN achieves state-of-the-art results.

研究の動機と目的

• Relational グラフ上の半教師付きオブジェクト分類を動機づけ、SRL と GNNs の橋渡しを行う。
• 条件付き確率場を変分 EM フレームワーク内で用いて結合ラベル分布をモデル化する。
• 推論後のラベル分布を推定する一つの GNN と、局所的なラベル依存性をモデリングする別の GNN の二つを活用する。
• 手作りのポテンシャルを避け、ニューラルネットワークで条件分布を学習する。
• オブジェクト分類、リンク分類、非監視ノード表現学習タスクで最先端または競争的な性能を示す。

提案手法

• 条件付き確率場を用いて p(y_V | x_V) を定義し、変分 EM により最適化する。
• E ステップ: Graph Neural Network (GNN) を用いて表現を学習し、後方事後分布 p(y_U | y_L, x_V) を q_theta(y_U | x_V) によって近似する。
• M ステップ: 別の GNN を用いて局所的なラベル依存性を p_phi(y_n | y_NB(n), x_V) でモデル化する。
• 推論には平均場近似を用い、p_phi のトレーニングには偽尤度目的関数を用いる。q_theta は別の GNN によってアマルタイズされる。
• E ステップと M ステップを交互に行い、最終ラベリングには通常 q_theta を使用する。
• 任意で GMNN をライングラフや隣接予測タスクに適用して、非監視ノード表現学習とリンク分類へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 SRL 型のラベル依存性と GNN ベースの表現を組み合わせた結合モデルは、 relational graphs で半教師付きオブジェクト分類を改善するか。
• RQ2 二つの GNN（推論と依存性モデリング）を含む変分 EM 学習手法は、エンドツーエンドの GNNs や伝統的 SRL 手法より優れているか。
• RQ3 GMNN はオブジェクト分類、非監視ノード表現学習、リンク分類で、ベースラインと比べてどの程度性能を示すか。

主な発見

カテゴリ	アルゴリズム	Cora	Citeseer	Pubmed
SSL	LP	74.2	56.3	71.6
SRL	PRM	77.0	63.4	68.3
SRL	RMN	71.3	68.0	70.7
SRL	MLN	74.6	68.0	75.3
GNN	Planetoid *	75.7	64.7	77.2
GNN	GCN *	81.5	70.3	79.0
GNN	GAT *	83.0	72.5	79.0
GMNN	W/o Attr. in p_phi	83.4	73.1	81.4
GMNN	With Attr. in p_phi	83.7	72.9	81.8
Best results	-	83.7	73.6	81.9

• GMNN はオブジェクト分類のベンチマーク（Cora, Citeseer, Pubmed）で競争力のあるまたは最先端に近い結果を達成する。
• p_phi にラベル依存性を組み込むことで（属性有無の有無を問わず）ベースライン GNN より改善を示す GMNN 変種。
• 非監視ノード表現学習では、q_theta と p_phi の双方を用いた GMNN がいくつかの強力なベースラインと同等またはそれを上回る。
• リンク分類タスクでは、ライングラフ変換を用いた GMNN が競争力のある性能を示す。
• 本手法は標準的な半教師付きノード分類に加えて、非監視およびリンク予測タスクへも拡張可能。