[논문 리뷰] Scalable Graph Neural Networks for Heterogeneous Graphs

Lingfan Yu, Jiajun Shen외 2명|arXiv (Cornell University)|2020. 11. 19.

Advanced Graph Neural Networks참고 문헌 33인용 수 26

한 줄 요약

이 논문은 이질적 그래프에서 스케일러블한 방법으로, 무작위로 샘플된 관계 하위그래프 위에서 이웃 평균 특징을 계산하고 1D 컨볼루션을 통해 조합하는 Neighbor Averaging over Relation Subgraphs(NARS)를 제안한다. NARS는 깊은 GNN보다 그래프 특징 스무딩을 더 효과적으로 활용함으로써 벤치마크 데이터셋에서 최고 성능을 달성하면서도, 근사 기법을 통해 높은 확장성과 메모리 효율성을 유지한다.

ABSTRACT

Graph neural networks (GNNs) are a popular class of parametric model for learning over graph-structured data. Recent work has argued that GNNs primarily use the graph for feature smoothing, and have shown competitive results on benchmark tasks by simply operating on graph-smoothed node features, rather than using end-to-end learned feature hierarchies that are challenging to scale to large graphs. In this work, we ask whether these results can be extended to heterogeneous graphs, which encode multiple types of relationship between different entities. We propose Neighbor Averaging over Relation Subgraphs (NARS), which trains a classifier on neighbor-averaged features for randomly-sampled subgraphs of the "metagraph" of relations. We describe optimizations to allow these sets of node features to be computed in a memory-efficient way, both at training and inference time. NARS achieves a new state of the art accuracy on several benchmark datasets, outperforming more expensive GNN-based methods

연구 동기 및 목표

• 이웃 평균화 기법(예: SIGN)이 다수의 엔티티 및 관계 유형을 포함하는 이질적 그래프로 어떻게 확장될 수 있는지 조사하기 위해.
• 메시지 전달 레이어를 종단 간 학습하는 데 의존하지 않고도 대규모 이질적 그래프에서 학습하기 위한 확장 가능하고 메모리 효율적인 방법을 개발하기 위해.
• 실제 세계의 그래프 벤치마크에서 GNN 성능의 주요 원동력이 계층적 특징 변환을 학습하는 것보다 그래프 특징 스무딩인지 평가하기 위해.
• 이질적 그래프에서 특징이 없는 노드를 다루는 데 도전하고, 다양한 특징 초기화 전략을 비교하기 위해.
• 정확도를 저하시키지 않고도 관계 하위그래프를 부분 샘플링하여 학습 효율성을 최적화하기 위해.

제안 방법

• NARS는 이질적 그래프의 메타그래프에서 관계 유형의 무작위 부분집합을 샘플링하여 관계 하위그래프를 구성한다.
• 각 샘플된 하위그래프에 대해, 하위그래프의 간선을 기반으로 메시지 전달 유사 집계를 사용해 이웃 평균화된 노드 특징을 계산한다.
• 다양한 하위그래프에서 얻은 평균 특징을 연결하고, 이를 1D 컨볼루션 레이어를 통해 공동 표현을 학습한다.
• 최종 분류기는 결합된 특징을 기반으로 종단 간 학습되며, 이는 효율적인 학습과 추론을 가능하게 한다.
• 학습 중 동시에 처리하는 하위그래프 수를 제한함으로써 메모리 사용량을 줄이기 위해 NARS의 근사 버전을 도입한다.
• 입력 특징이 없는 노드의 경우, NARS는 0 패딩, 이웃 평균화, 사전 학습된 그래프 임베딩(예: TransE)과 같은 다양한 초기화 전략을 평가한다.

실험 결과

연구 질문

• RQ1 SIGN과 같은 이웃 평균화 기법이 다수의 노드 및 관계 유형을 포함하는 이질적 그래프로 효과적으로 확장될 수 있는가?
• RQ2 실제 세계의 이질적 그래프 벤치마크에서 GNN 성능의 주요 원동력이 깊은 계층적 특징 학습이 아닌 그래프 특징 스무딩인가?
• RQ3 샘플된 관계 하위그래프의 수가 NARS의 정확도와 분산에 미치는 영향은 어떠한가?
• RQ4 특징이 없는 노드의 경우, 다양한 특징 초기화 전략이 NARS 성능에 어떤 영향을 미치는가?
• RQ5 정확도를 저하시키지 않고도 관계 하위그래프를 부분 샘플링함으로써 메모리 효율적인 학습을 달성할 수 있는가?

주요 결과

• NARS는 세 가지 벤치마크 데이터셋에서 최고 성능을 달성하며, HGT나 R-GCN과 같은 더 복잡한 GNN보다 뛰어난 성능을 보였다.
• OGB-MAG 데이터셋에서 다섯 개 이상의 관계 하위그래프를 샘플링할 경우, HGT와 R-GCN을 항상 초월했으며, TransE 임베딩을 사용할 경우 테스트 정확도가 0.5214 ± 0.0016에 도달했다.
• 특징이 없는 노드에 사전 학습된 TransE 임베딩을 사용할 경우 가장 높은 성능를 기록했으며, 0 패딩 대비 정확도가 10퍼센트 이상 향상되었다.
• 스테이지당 하나의 샘플된 하위그래프만 사용해도 양호한 성능(0.5187 ± 0.0011)을 달성했고, 분산이 낮아 최소한의 계산 오버헤드로도 높은 정확도를 확보할 수 있음을 보여주었다.
• 근사 버전의 NARS는 전체 버전과 거의 동일한 정확도를 유지했으며, 이는 대규모 배포에 대한 메모리 효율성을 검증하는 데 기여했다.
• 결과는 그래프 특징 스무딩이 GNN에서 주요 신호이며, 현재의 벤치마크에서는 깊은 계층적 특징 학습의 이점이 미미하다는 것을 시사한다.