[논문 리뷰] GMNN: Graph Markov Neural Networks

Meng Qu, Yoshua Bengio외 1명|arXiv (Cornell University)|2019. 05. 15.

Advanced Graph Neural Networks인용 수 146

한 줄 요약

GMNN은 조건부 무작위장(CRF)과 그래프 신경망(GNN)을 변분 EM 프레임워크로 결합하여 라벨 의존성을 공동으로 모델링하고 준지도 관계형 데이터의 객체 표현을 학습합니다.

ABSTRACT

This paper studies semi-supervised object classification in relational data, which is a fundamental problem in relational data modeling. The problem has been extensively studied in the literature of both statistical relational learning (e.g. relational Markov networks) and graph neural networks (e.g. graph convolutional networks). Statistical relational learning methods can effectively model the dependency of object labels through conditional random fields for collective classification, whereas graph neural networks learn effective object representations for classification through end-to-end training. In this paper, we propose the Graph Markov Neural Network (GMNN) that combines the advantages of both worlds. A GMNN models the joint distribution of object labels with a conditional random field, which can be effectively trained with the variational EM algorithm. In the E-step, one graph neural network learns effective object representations for approximating the posterior distributions of object labels. In the M-step, another graph neural network is used to model the local label dependency. Experiments on object classification, link classification, and unsupervised node representation learning show that GMNN achieves state-of-the-art results.

연구 동기 및 목표

• Relational graphs에서 준지도 객체 분류를 동기화하고 SRL과 GNN 사이의 다리를 놓는다.
• 변분 EM 프레임워크 내에서 조건부 무작위장을 사용하여 결합 라벨 분포를 모델링한다.
• 두 개의 그래프 신경망을 활용한다: 하나는 사후 분포를 추론하고 하나는 국부 라벨 의존성을 모델링하는 것.
• 손으로 설계된 포텐셜을 피하고 신경망으로 조건부 분포를 학습한다.
• 객체 분류, 링크 분류, 비지도 노드 표현 학습 작업에서 최첨단 또는 경쟁력 있는 성능을 입증한다.

제안 방법

• 조건부 무작위장으로 p(y_V | x_V)를 정의하고 변분 EM으로 최적화한다.
• E-스텝: Graph Neural Network(GNN)를 사용하여 표현을 학습하고 q_theta(y_U | x_V)를 통해 후사 분포 p(y_U | y_L, x_V)를 근사한다.
• M-스텝: 다른 GNN을 사용하여 p_phi(y_n | y_NB(n), x_V)로 국부 라벨 의존성을 모델링한다.
• 추론에 대한 평균장이 근사(mean-field)와 p_phi 학습을 위한 의사가능도(pseudolikelihood) 목적함수를 사용한다; q_theta는 별도의 GNN에 의해 최적화된다.
• 교대 E-스텝 및 M-스텝으로, 일반적으로 최종 라벨링에 q_theta를 사용한다.
• 선형 그래프나 이웃 예측 작업에 GMNN을 적용하여 비지도 노드 표현 학습 및 연결 예측으로 확장하는 선택적 방법이 있다.

실험 결과

연구 질문

• RQ1 SRL 스타일의 라벨 의존성 및 GNN 기반 표현을 결합한 공동 모델이 관계형 그래프에서 준지도 객체 분류를 향상시키는가?
• RQ2 두 개의 GNN(추론 및 의존성 모델링)을 사용하는 변분 EM 학습 절차가 엔드-투-엔드 GNN 및 전통적인 SRL 방법보다 우수한가?
• RQ3 GMNN이 객체 분류, 비지도 노드 표현 학습 및 링크 분류에서 기저 모델과 비교하여 어떤 성능을 보이는가?

주요 결과

범주	알고리즘	Cora	Citeseer	Pubmed
SSL	LP	74.2	56.3	71.6
SRL	PRM	77.0	63.4	68.3
SRL	RMN	71.3	68.0	70.7
SRL	MLN	74.6	68.0	75.3
GNN	Planetoid *	75.7	64.7	77.2
GNN	GCN *	81.5	70.3	79.0
GNN	GAT *	83.0	72.5	79.0
GMNN	W/o Attr. in p_phi	83.4	73.1	81.4
GMNN	With Attr. in p_phi	83.7	72.9	81.8
Best results	-	83.7	73.6	81.9

• GMNN은 객체 분류 벤치마크(Cora, Citeseer, Pubmed)에서 최첨단 혹은 경쟁력 있는 결과를 달성한다.
• p_phi에 라벨 의존성(속성 포함 여부)을 포함시킨 GMNN 변형이 기본 GNN 대비 향상을 보인다.
• 비지도 노드 표현 학습에서 q_theta와 p_phi를 모두 사용하는 GMNN은 여러 강력한 벤치마크를 상회하거나 일치한다.
• 링크 분류 작업에서 GMNN은 선 그래프 변환을 사용하여 경쟁력 있는 성능을 보여준다.
• 이 방법은 비지도 및 연결 예측 작업으로 일반화되며 표준 준지도 노드 분류 작업 외에도 확장 가능하다.