[논문 리뷰] Graph Neural Networks: A Review of Methods and Applications

Jie Zhou, Ganqu Cui외 7명|arXiv (Cornell University)|2018. 12. 20.

Advanced Graph Neural Networks참고 문헌 260인용 수 1,451

한 줄 요약

한글 요약: 그래프 신경망(GNN)의 포괄적 고찰로, 일반 설계 파이프라인, 모듈형 변형, 그래프 유형, 광범위한 응용 및 향후 연구를 위한 네 가지 개방 문제를 자세히 다룬다.

ABSTRACT

Lots of learning tasks require dealing with graph data which contains rich relation information among elements. Modeling physics systems, learning molecular fingerprints, predicting protein interface, and classifying diseases demand a model to learn from graph inputs. In other domains such as learning from non-structural data like texts and images, reasoning on extracted structures (like the dependency trees of sentences and the scene graphs of images) is an important research topic which also needs graph reasoning models. Graph neural networks (GNNs) are neural models that capture the dependence of graphs via message passing between the nodes of graphs. In recent years, variants of GNNs such as graph convolutional network (GCN), graph attention network (GAT), graph recurrent network (GRN) have demonstrated ground-breaking performances on many deep learning tasks. In this survey, we propose a general design pipeline for GNN models and discuss the variants of each component, systematically categorize the applications, and propose four open problems for future research.

연구 동기 및 목표

• GNN 모델을 위한 일반 설계 파이프라인을 제안하고, 그래프 구조, 그래프 유형, 규모, 손실 함수, 모듈의 선택 방법을 명확히 한다.
• 그래프 유형(유향/무향, 동질적/이질적, 정적/동적)에 걸친 전파, 샘플링, 풀링 메커니즘에 따라 GNN 변형을 체계적으로 분류한다.
• 도메인 전반의 구조적 및 비구조적 시나리오에서 GNN의 주요 응용을 조사하고 종합한다.
• 이론적 및 실증적 분석을 강조하고 향후 연구를 이끌 오픈 문제를 식별한다.

제안 방법

• 네 가지 설계 단계로 GNN에 대한 디자이너 관점을 제시한다: (i) 그래프 구조 찾기, (ii) 그래프 유형과 규모 지정, (iii) 손실 함수 설계, (iv) 계산 모듈을 사용해 모델 구축.
• 스펙트럴(예: Spectral Network, ChebNet, GCN, GWNN) 및 공간적 접근법(예: GraphSAGE, PATCHY-SAN, LGCN, DCNN)을 포함하여 주의 기반 변형(GAT, GaAN)을 상세히 설명한다.
• MoNet, MPNN, NLNN, GN를 포함한 모델을 통합하는 일반 프레임워크를 설명하고 순환 및 고정점 GNN(예: GraphESN)을 논의한다.
• 모듈 구성요소: 전파, 샘플링, 풀링 및 이것들이 다층 GNN 아키텍처에 어떻게 통합되는지 논의한다.
• 그래프 유형(유향/무향, 동질적/이질적, 정적/동적)에 대한 고려사항과 대형 그래프의 확장성에 대해 설명한다.

실험 결과

연구 질문

• RQ1 GNN 모델을 구성할 때의 표준 구성 요소 및 설계 결정은 무엇인가?
• RQ2 서로 다른 그래프 유형과 규모가 GNN 아키텍처 및 학습 전략의 선택에 어떤 영향을 미치는가?
• RQ3 합성곱 기반, 순환, 주의 기반, 프레임워크 등 GNN 변형의 주요 분류와 그 트레이드오프는 무엇인가?
• RQ4 구조적 및 비구조적 도메인에서 GNN이 가장 잘 지원하는 응용은 무엇이며 현 시점의 한계는 무엇인가?
• RQ5 GNN 방법 및 응용에 대한 체계적 고찰에서 제시되는 오픈 문제와 향후 방향은 무엇인가?

주요 결과

• GNN 설계를 위한 그래프 구조 발견, 그래프 유형/규모 지정, 손실 설계 및 모듈식 구성으로 구성된 통합 설계 파이프라인을 제공한다.
• 스펙트럴(예: ChebNet, GCN) 및 공간적(예: GraphSAGE, GAT) 컨볼루션 방법을 포함한 주요 GNN 구현과 일반 프레임워크(MoNet, MPNN, GN)을 요약한다.
• 가변 이웃 크기와 잡음을 다루는 데 유리한 주의 기반 변형(GAT, GaAN)과 그 이점을 강조한다.
• 구조적 대 비구조적 그래프 유형 및 시나리오의 분류를 자세히 제시하고 이것이 모델 설계와 적용 가능성에 어떻게 영향을 미치는지 설명한다.
• GNN의 이론적 및 실증적 분석을 제시하고 미래 연구를 이끌 오픈 문제를 제안한다.
• 사회과학, 자연과학, 지식 그래프 및 기타 도메인에 걸친 GNN 응용을 조사하고 방법 선택에 대한 체계적 지침을 제공한다.