[논문 리뷰] Graph-Bert: Only Attention is Needed for Learning Graph Representations

Jiawei Zhang, Haopeng Zhang외 2명|arXiv (Cornell University)|2020. 01. 15.

Advanced Graph Neural Networks참고 문헌 28인용 수 154

한 줄 요약

Graph-Bert는 그래프 연결에 의존하지 않고 오로지 어텐션만을 사용하는 그래프 신경망으로, 링크 없는 서브그래프에서 학습되며, 노드 분류 및 그래프 클러스터링과 같은 작업에 대해 비지도 사전학습 및 미세조정으로 강력한 결과를 보인다.

ABSTRACT

The dominant graph neural networks (GNNs) over-rely on the graph links, several serious performance problems with which have been witnessed already, e.g., suspended animation problem and over-smoothing problem. What's more, the inherently inter-connected nature precludes parallelization within the graph, which becomes critical for large-sized graph, as memory constraints limit batching across the nodes. In this paper, we will introduce a new graph neural network, namely GRAPH-BERT (Graph based BERT), solely based on the attention mechanism without any graph convolution or aggregation operators. Instead of feeding GRAPH-BERT with the complete large input graph, we propose to train GRAPH-BERT with sampled linkless subgraphs within their local contexts. GRAPH-BERT can be learned effectively in a standalone mode. Meanwhile, a pre-trained GRAPH-BERT can also be transferred to other application tasks directly or with necessary fine-tuning if any supervised label information or certain application oriented objective is available. We have tested the effectiveness of GRAPH-BERT on several graph benchmark datasets. Based the pre-trained GRAPH-BERT with the node attribute reconstruction and structure recovery tasks, we further fine-tune GRAPH-BERT on node classification and graph clustering tasks specifically. The experimental results have demonstrated that GRAPH-BERT can out-perform the existing GNNs in both the learning effectiveness and efficiency.

연구 동기 및 목표

• 그래프 연결에 의존하는 전통적인 GNN의 비효율과 문제점(예: 정지 현상과 과도한 평활화)을 다룬다.
• 그래프 합성곱 없이 작동하고 샘플링된 링크 없는 서브그래프를 학습에 활용하는 트랜스포머 기반 GNN인 Graph-Bert를 제안한다.
• 노드 속성 재구성과 그래프 구조 복구를 통한 비지도 사전학습을 가능하게 하고, 이어서 작업 특화 미세조정 및 전이를 수행한다.
• 사전 학습된 Graph-Bert가 관련 작업이나 연속 모델로의 전이를 통해 학습 효율성과 효과를 향상시킬 수 있음을 시연한다.]
• method':['다섯 가지 구성요소를 갖는 Graph-Bert 아키텍처를 도입한다: 링크 없는 서브그래프 배칭, 노드 입력 임베딩, 그래프 트랜스포머 기반 인코더, 표현 융합, 그리고 작업 특화 기능 구성요소.','PageRank를 기반으로 한 친밀도 매트릭스를 통해 top-k 친밀도 샘플링으로 정의된 샘플링된 서브그래프를 사용해 학습 맥락을 형성한다.','원시 특징, WL 절대 역할 임베딩, 친밀도 기반 상대 위치 임베딩, 그리고 홉 기반 상대 거리 임베딩을 모아 노드 입력 벡터를 계산한다.','다층 어텐션을 갖춘 그래프 트랜스포머 인코더를 통해 이 임베딩들을 처리하고, 각 서브그래프 내에서 정보를 전파하는 그래프 잔차 항을 더한다.','두 가지 작업(노드 속성 재구성 및 그래프 구조 복구)으로 사전 학습한 뒤, 노드 분류나 그래프 클러스터링을 위해 미세조정한다.'],
• research_questions':['Graph-Bert가 그래프 간선 연결성에 의존하지 않고도 의미 있는 그래프 표현을 학습할 수 있는가?','링크 없는 서브그래프 배치와 어텐션 기반 인코딩이 표준 벤치마크에서 엣지 기반 GNN과 비교해 경쟁력 있거나 우수한 성능을 달성하는가?','다운스트림 그래프 작업을 위한 비지도 사전학습 작업(노드 속성 재구성 및 구조 복구)의 효과는 어떠한가?','Graph-Bert가 전체 재학습 없이도 관련 작업이나 순차적 모델로 얼마나 잘 전이될 수 있는가?'],
• key_findings':['Graph-Bert는 Cora, Citeseer, Pubmed 데이터셋에서 노드 분류에 대해 여러 기준선 방법보다 우수하게 나타나며(가장 좋게 보고된 값은 Cora에서 0.843).','Citeseer와 Pubmed에서의 노드 분류 성능은 경쟁력이 있으며, 보고된 결과에서 Graph-Bert가 각각 0.712와 0.793를 달성했다.','노드 속성 재구성과 구조 복구에 대한 사전 학습은 빠르게 수렴하고 다운스트림 작업에 대한 효과적인 미세조정을 지원한다.','Graph-Bert는 50층까지의 학습 성공으로 정지 현상 없이 매우 깊은 아키텍처를 지원한다.','서브그래프 크기 k는 성능에 크게 영향을 미치며, 일반적으로 k가 증가할수록 정확도가 향상되는 경향이 있다(예: Cora의 경우 k=7까지의 결과가 제시됨).','사전 학습 및 미세조정을 통해 Graph-Bert는 GCN 및 GAT 변형을 포함한 여러 기준선 대비 강력한 성능 향상을 달성한다.'],
• table_headers':['방법','Cora','Citeseer','Pubmed'],
• table_rows':[[
• 0.680
• 0.453
• 0.630

제안 방법

• ICA
• 0.751
• 0.691
• 0.739

실험 결과

연구 질문

• RQ1 ManiReg
• RQ2 0.595
• RQ3 0.601
• RQ4 0.707

주요 결과

LP	0.680	0.453	0.630
DeepWalk	0.672	0.432	0.653
Planetoid	0.757	0.647	0.772
MoNet	0.817	-	0.788
GCN	0.815	0.703	0.790
GAT	0.830	0.725	0.790
LoopyNet	0.826	0.716	0.792
Graph-Bert	0.843	0.712	0.793

• SemiEmb
• 0.590
• 0.596
• 0.711