[논문 리뷰] Deep Graph Neural Networks with Shallow Subgraph Samplers

Hanqing Zeng, Muhan Zhang외 7명|arXiv (Cornell University)|2020. 12. 02.

Advanced Graph Neural Networks참고 문헌 49인용 수 13

한 줄 요약

이 논문은 과도한 스무딩과 이웃 노드 폭발 문제를 완화하기 위해 깊은 GNN을 국소적으로 샘플된 부분그래프에만 적용하는 '깊은 GNN, 얕은 샘플러' 프레임워크를 제안한다. ogbn-papers100M에서 기존 최고 성능을 달성하면서 하드웨어 비용을 10배 낮춘다.

ABSTRACT

While Graph Neural Networks (GNNs) are powerful models for learning representations on graphs, most state-of-the-art models do not have significant accuracy gain beyond two to three layers. Deep GNNs fundamentally need to address: 1). expressivity challenge due to oversmoothing, and 2). computation challenge due to neighborhood explosion. We propose a simple "deep GNN, shallow sampler" design principle to improve both the GNN accuracy and efficiency -- to generate representation of a target node, we use a deep GNN to pass messages only within a shallow, localized subgraph. A properly sampled subgraph may exclude irrelevant or even noisy nodes, and still preserve the critical neighbor features and graph structures. The deep GNN then smooths the informative local signals to enhance feature learning, rather than oversmoothing the global graph signals into just "white noise". We theoretically justify why the combination of deep GNNs with shallow samplers yields the best learning performance. We then propose various sampling algorithms and neural architecture extensions to achieve good empirical results. On the largest public graph dataset, ogbn-papers100M, we achieve state-of-the-art accuracy with an order of magnitude reduction in hardware cost.

연구 동기 및 목표

• 깊은 GNN이 그래프 표현 학습에서 성능을 발휘하는 데 제약이 되는 표현력과 계산 문제를 해결하기 위해.
• 메시지 전파를 국소적이고 정보적인 부분그래프로 제한하여 깊은 GNN에서 발생하는 과도한 스무딩을 극복하기 위해.
• 부분그래프 샘플링을 통해 이웃 노드 폭발을 방지함으로써 계산 비용을 절감하기 위해.
• 샘플된 부분그래프에 중요한 그래프 구조와 이웃 특징을 유지함으로써 모델 성능을 향상시키기 위해.
• 깊은 GNN과 얕은 샘플링의 조합에 대한 이론적 기반을 마련하기 위해.

제안 방법

• 해당 방법은 각 타겟 노드 주변의 얕고 국소적으로 샘플된 부분그래프 내에서만 메시지 전파를 수행하는 깊은 GNN을 사용한다.
• 부분그래프 샘플링은 관련이 없거나 노이즈가 많은 노드를 제외하면서도 구조적·특징적으로 중요한 이웃을 유지한다.
• 프레임워크는 '얕은 샘플러'를 활용하여 국소적 그래프 구조와 특징 무결성을 유지하는 컴act한 부분그래프를 생성한다.
• 다양한 샘플링 알고리즘을 제안하여 부분그래프가 정보가 풍부하고 다양하도록 하여 강력한 표현 학습을 지원한다.
• 최적의 성능을 위해 샘플링 및 GNN 모듈을 종단 간(end-to-end)으로 통합하기 위한 신경망 아키텍처 확장 기법을 도입한다.
• 이론적 분석을 통해 이 설계는 전역 스무딩을 피하기 위해 국소 신호 강화에 집중함으로써 전역 스무딩을 방지함을 확인한다.

실험 결과

연구 질문

• RQ1 큰 그래프에서 과도한 스무딩 문제 없이 깊은 GNN을 더 효과적으로 사용할 수 있는 방법은 무엇인가?
• RQ2 어떤 샘플링 전략이 깊은 GNN의 정확도를 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ3 왜 메시지 전파를 얕은 부분그래프로 제한하는 것이 전체 그래프 GNN보다 표현 학습에 더 나은가?
• RQ4 간단한 '깊은 GNN, 얕은 샘플러' 설계가 대규모 그래프에서 기존의 깊은 GNN 아키텍처를 능가할 수 있는가?
• RQ5 깊은 GNN과 국소적 샘플링을 조합한 설계의 효과성에 대한 이론적 보장은 무엇인가?

주요 결과

• 제안된 방법은 가장 큰 공개 그래프 벤치마크인 ogbn-papers100M 데이터셋에서 최고 성능을 달성한다.
• 기존의 깊은 GNN에 비해 하드웨어 비용을 한 단계 낮춰 대규모 그래프에서의 효율적인 학습을 가능하게 한다.
• 전체 그래프 신호 대신 국소적이고 정보적인 부분그래프에 집중함으로써 과도한 스무딩을 완화한다.
• 이론적 분석을 통해 깊은 GNN과 얕은 샘플링의 조합이 전역 메시지 전파로 인한 성능 저하를 피함을 확인한다.
• 실험 결과에 따르면 부분그래프 샘플링이 정확한 노드 표현에 필수적인 구조적 및 특징 정보를 유지함을 보여준다.
• 프레임워크는 뛰어난 확장성과 효율성을 보이며, 현실 세계의 대규모 그래프 학습에 깊은 GNN을 적용할 수 있도록 한다.