[논문 리뷰] Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

Jiawei Zhang|arXiv (Cornell University)|2019. 08. 01.

Advanced Graph Neural Networks참고 문헌 7인용 수 6

한 줄 요약

이 논문은 소형 그래프(예: 분자 또는 뇌망 구조)와 거대 네트워크(예: 소셜 또는 인용 네트워크)라는 두 가지 다른 유형의 그래프에 특화된 그래프 신경망(GNNs)에 대한 종합적인 개요를 제공한다. 10개의 GNN 모델—소형 그래프용으로는 IsoNN, SDBN, LF&ER, 거대 네트워크용으로는 GCN, GAT, DifNN, GNL, GraphSage, seGEN—을 조사하여 각 모델의 아키텍처, 메커니즘, 성능를 상세히 기술하며, 과도한 스무딩, 최적화 비효율성, 두 그래프 유형 모두에 통합된 모델 부족 등의 주요 과제를 규명한다.

ABSTRACT

Graph neural networks denote a group of neural network models introduced for the representation learning tasks on graph data specifically. Graph neural networks have been demonstrated to be effective for capturing network structure information, and the learned representations can achieve the state-of-the-art performance on node and graph classification tasks. Besides the different application scenarios, the architectures of graph neural network models also depend on the studied graph types a lot. Graph data studied in research can be generally categorized into two main types, i.e., small graphs vs. giant networks, which differ from each other a lot in the size, instance number and label annotation. Several different types of graph neural network models have been introduced for learning the representations from such different types of graphs already. In this paper, for these two different types of graph data, we will introduce the graph neural networks introduced in recent years. To be more specific, the graph neural networks introduced in this paper include IsoNN, SDBN, LF&ER, GCN, GAT, DifNN, GNL, GraphSage and seGEN. Among these graph neural network models, IsoNN, SDBN and LF&ER are initially proposed for small graphs and the remaining ones are initially proposed for giant networks instead. The readers are also suggested to refer to these papers for detailed information when reading this tutorial paper.

연구 동기 및 목표

• 소형 그래프와 거대 네트워크라는 두 가지 다른 그래프 유형을 대상으로 설계된 그래프 신경망 모델을 체계적으로 분류하고 비교하기 위해.
• 소형 그래프 전용 GNN(전체 그래프 표현에 중점을 두는)과 거대 네트워크 전용 GNN(노드 수준 표현에 중점을 두는) 간의 아키텍처 및 방법론적 차이를 규명하기 위해.
• GNN 연구에서의 주요 과제, 예를 들어 과도한 스무딩, 최적화 비효율성, 그래프 유형 간 통합 모델 부족 등을 부각하기 위해.
• 동적 및 이질적 그래프 학습과 같은 열린 문제들을 제시하여 향후 연구의 기초를 마련하기 위해.
• GNN를 사용한 그래프 표현 학습 분야에서 연구하는 연구자들에게 가이드 및 참고 자료로 기능하기 위해.

제안 방법

• 노드 순열을 비교함으로써 그래프 이소모르피즘 레이어와 최소 풀링을 사용해 소형 그래프의 불변 표현을 학습하는 IsoNN을 소개한다.
• 대칭을 고려한 처리를 통해 표현 학습을 향상시키기 위해 그래프 재정렬 및 구조적 증강을 통합한 SDBN을 제안한다.
• 종단 간 훈련을 통해 소형 그래프에서 저차원 잠재 특징을 학습하는 딥 오토에인커 프레임워크인 LF&ER를 활용한다.
• 고정 차수 다항식을 사용해 이웃 정보를 효율적으로 집계하기 위해 GCN의 스펙트럼 컨볼루션 근사법을 적용한다.
• 다중 헤드 어텐션 메커니즘을 활용해 이웃 노드 기여도를 동적으로 가중함으로써 거대 네트워크 학습에서의 강건성을 향상시킨다.
• 다양한 그래프 샘플링 전략(BFS, DFS 등)과 앙상블 학습을 조합한 하이브리드 모델인 seGEN을 도입하여 거대 네트워크에서 강력한 노드 표현을 생성한다.

실험 결과

연구 질문

• RQ1 소형 그래프와 거대 네트워크 간의 그래프 신경망 아키텍처는 설계 및 목적 면에서 어떻게 다를까?
• RQ2 전체 그래프가 레이블링되어 있는 소형 그래프에서 효과적인 표현 학습을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 GNN을 거대 네트워크에 스케일링할 때의 주요 과제, 특히 과도한 스무딩과 높은 계산 비용은 무엇인가?
• RQ4 아키텍처 수정 없이도 소형 그래프와 거대 네트워크 양쪽 모두를 효과적으로 표현할 수 있는 통합 GNN 아키텍처를 개발할 수 있는가?
• RQ5 실세계 응용에서 동적 및 이질적 네트워크 구조를 다룰 수 있도록 GNN을 어떻게 확장할 수 있는가?

주요 결과

• GCN과 GAT은 스펙트럼 기반 및 어텐션 기반 집계를 활용해 거대 네트워크에서 노드 분류 작업에서 최고 성능을 달성한다.
• DifNN과 GNL은 메시지 전파 중 원본 입력과 동적 상태 정보를 유지하는 게이트드 디퓨전 유닛을 통해 과도한 스무딩 문제를 완화한다.
• seGEN은 다양한 샘플링 전략(BFS, DFS 등)을 조합하고 출력을 전역 앙상블로 평균화함으로써 노드 표현의 강건성을 향상시킨다.
• GNN의 시간 복잡도는 네트워크 크기에 따라 제곱적으로 증가하고 깊이에 따라 지수적으로 증가하므로 최적화에 큰 과제를 야기한다.
• 기존의 GNN 모델 중에서 소형 그래프와 거대 네트워크 양쪽 모두를 동시에 효과적으로 표현하는 모델는 존재하지 않으며, 이는 중요한 연구 격차를 시사한다.
• 현재의 GNN은 주로 동질적 네트워크에 집중되어 있어, 다양한 노드 및 간선 유형을 가진 이질적 네트워크 모델링의 큰 기회가 남아 있다.