[논문 리뷰] Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network

Jiyang Bai, Yuxiang Ren외 1명|arXiv (Cornell University)|2020. 02. 17.

Advanced Graph Neural Networks참고 문헌 39인용 수 12

한 줄 요약

이 논문은 대규모 및 깊이 있는 그래프 신경망(GNN)에서 학습을 가속화하고 메모리 사용량을 줄이는 서브그래프 기반 프레임워크인 Ripple Walk Training(RWT)을 제안한다. 새로운 Ripple Walk 샘플러를 사용해 무작위성과 연결성의 균형을 잡은 고품질의 서브그래프를 샘플링함으로써 RWT는 이웃 수 폭발, 노드 의존성, 과도한 스무딩 문제를 완화하며, 다양한 데이터셋에서 GCN 및 GAT 모델의 빠른 수렴과 성능 향상을 가능하게 한다.

ABSTRACT

Graph neural networks (GNNs) have achieved outstanding performance in learning graph-structured data and various tasks. However, many current GNNs suffer from three common problems when facing large-size graphs or using a deeper structure: neighbors explosion, node dependence, and oversmoothing. Such problems attribute to the data structures of the graph itself or the designing of the multi-layers GNNs framework, and can lead to low training efficiency and high space complexity. To deal with these problems, in this paper, we propose a general subgraph-based training framework, namely Ripple Walk Training (RWT), for deep and large graph neural networks. RWT samples subgraphs from the full graph to constitute a mini-batch, and the full GNN is updated based on the mini-batch gradient. We analyze the high-quality subgraphs to train GNNs in a theoretical way. A novel sampling method Ripple Walk Sampler works for sampling these high-quality subgraphs to constitute the mini-batch, which considers both the randomness and connectivity of the graph-structured data. Extensive experiments on different sizes of graphs demonstrate the effectiveness and efficiency of RWT in training various GNNs (GCN & GAT).

연구 동기 및 목표

• 대규모 및 깊이 있는 GNN에서 이웃 수 폭발, 노드 의존성, 과도한 스무딩 문제를 해결하기 위해.
• 전체 그래프의 미니배치 학습에서 발생하는 메모리 및 계산 병목 현상 극복을 위해.
• 더 깊은 GNN 아키텍처를 지원하는 확장 가능하고 일반적인 목적의 학습 프레임워크 개발을 위해.
• 효과적인 모델 업데이트를 위해 구조적 품질을 유지하는 서브그래프 샘플링 방법 설계를 위해.

제안 방법

• RWT는 전체 그래프의 미니배치 학습을 전체 그래프에서 샘플된 서브그래프 기반의 미니배치로 대체한다.
• Ripple Walk 샘플러는 제어된 확장과 함께 무작위 보행을 사용하여 서브그래프 내에서 무작위성과 연결성을 균형 잡는다.
• 각 노드의 표현이 서브그래프 내 국소적 이웃에만 의존하도록 서브그래프를 샘플링함으로써 서브그래프 간의 노드 의존성을 제거한다.
• 프레임워크는 서브그래프 미니배치에서만 계산된 기울기 정보를 기반으로 전체 GNN 모델 업데이트를 가능하게 한다.
• 샘플링 과정은 이론적으로 기반을 두어 서브그래프가 구조적 및 표현적 품질을 유지하도록 보장한다.
• 서브그래프 크기와 미니배치 크기(M)를 조정하여 정보 커버리지와 부정확성의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 서브그래프 기반 학습 프레임워크는 대규모 GNN에서 메모리 및 계산 오버헤드를 효과적으로 줄일 수 있는가?
• RQ2 서브그래프 샘플링은 어떻게 무작위성과 연결성을 균형 잡아 모델 성능을 유지할 수 있는가?
• RQ3 RWT는 미니배치 학습에서 이웃 수 폭발과 노드 의존성을 어느 정도 완화하는가?
• RQ4 RWT는 깊이 있는 GNN에서 학습 효율성과 일반화 성능을 향상시키고 과도한 스무딩을 줄일 수 있는가?
• RQ5 확장 비율(r)과 미니배치 크기(M)와 같은 하이퍼파라미터는 RWT의 성능에 어떤 영향을 미치는가?

주요 결과

• RWT는 학습 시간과 메모리 사용량을 크게 줄였으며, CPU 및 GPU 환경에서 수렴 시간이 크게 단축되었다.
• Reddit 데이터셋에서 RWT를 사용한 GAT은 2614초 만에 68.06%의 정확도를 달성했고, 기준 모델은 메모리가 부족해 실패했다.
• 모든 다섯 개인 데이터셋에서 Ripple Walk 샘플러가 무작위 및 BFS 샘플러를 모두 앞서며 뛰어난 서브그래프 품질을 입증했다.
• 확장 비율 r = 0.5일 때 최고의 성능를 기록하여 무작위성과 연결성 간의 이론적 균형이 검증되었다.
• 미니배치 크기 M이 증가함에 따라 모델 성능이 향상되고 안정화되었지만, 더 이상 증가시킬 경우 중복 서브그래프로 인해 성능 향상의 효과가 점점 줄어들었다.
• GCN에 RWT를 적용한 결과 표준 GCN보다 더 높은 정확도와 낮은 손실을 기록했으며, 특히 더 깊은 아키텍처에서 과도한 스무딩이 효과적으로 완화됨을 보여주었다.