[논문 리뷰] GraphSAINT: Graph Sampling Based Inductive Learning Method

Hanqing Zeng, Hongkuan Zhou외 3명|arXiv (Cornell University)|2019. 07. 10.

Advanced Graph Neural Networks참고 문헌 33인용 수 336

한 줄 요약

GraphSAINT는 샘플링된 부분 그래프에서 학습하여 대형 그래프에서 귀납적 학습을 위한 그래프 샘플링 프레임워크를 제시한다.

ABSTRACT

Graph Convolutional Networks (GCNs) are powerful models for learning representations of attributed graphs. To scale GCNs to large graphs, state-of-the-art methods use various layer sampling techniques to alleviate the "neighbor explosion" problem during minibatch training. We propose GraphSAINT, a graph sampling based inductive learning method that improves training efficiency and accuracy in a fundamentally different way. By changing perspective, GraphSAINT constructs minibatches by sampling the training graph, rather than the nodes or edges across GCN layers. Each iteration, a complete GCN is built from the properly sampled subgraph. Thus, we ensure fixed number of well-connected nodes in all layers. We further propose normalization technique to eliminate bias, and sampling algorithms for variance reduction. Importantly, we can decouple the sampling from the forward and backward propagation, and extend GraphSAINT with many architecture variants (e.g., graph attention, jumping connection). GraphSAINT demonstrates superior performance in both accuracy and training time on five large graphs, and achieves new state-of-the-art F1 scores for PPI (0.995) and Reddit (0.970).

연구 동기 및 목표

• 대규모 그래프에서 부분 그래프 샘플링을 사용한 확장 가능한 귀납적 학습 가능성 확보.
• 샘플링 중 노드 예산과 간선 예산을 통해 계산 자원 제어.
• 루트 노드와 무작위 보행을 활용하여 학습에 유용한 정보가 풍부한 부분 그래프 구성.

제안 방법

• 샘플링 매개변수 지정: 노드 예산 n, 간선 예산 m, 루트의 수 r, 그리고 무작위 보행 길이 h.
• 원 그래프 G(V,E)에서 부분 그래프 Gs(Vs, Es)를 샘플링하여 학습 데이터를 생성.
• 샘플링된 부분 그래프를 그래프 신경망에 적합한 학습 단위로 변환.
• 다양하고 대표적인 부분 그래프 샘플링을 이끌기 위해 루트 기반 또는 보행 기반 전략 사용.

실험 결과

연구 질문

• RQ1 부분 그래프 샘플링이 귀납적 그래프 학습의 정확도와 일반화에 어떤 영향을 미칠 수 있는가?
• RQ2 노드/간선 예산과 모델 성능 사이의 트레이드오프는 무엇인가?
• RQ3 무작위 보행 기반 샘플링이 학습에 유용한 부분 그래프를 생성할 수 있는가?
• RQ4 샘플링 전략이 매우 큰 그래프에 대한 확장성에 어떻게 영향을 미치는가?

주요 결과

• 제공된 발췌에서 사용할 수 있는 내용이 아님; 제공된 텍스트에는 실험 결과나 정량적 발견이 포함되어 있지 않습니다.