[논문 리뷰] SIGN: Scalable Inception Graph Neural Networks

Fabrizio Frasca, Emanuele Rossi외 4명|arXiv (Cornell University)|2020. 04. 23.

Advanced Graph Neural Networks참고 문헌 71인용 수 187

한 줄 요약

SIGN은 샘플링 없는 그래프 신경망으로, inception 유사 모듈에서 다중 스케일의 미리 계산 가능한 diffusion 연산자를 사용하여 웹 규모 그래프에 확장하면서 경쟁력 있거나 최첨단 결과를 달성합니다.

ABSTRACT

Graph representation learning has recently been applied to a broad spectrum of problems ranging from computer graphics and chemistry to high energy physics and social media. The popularity of graph neural networks has sparked interest, both in academia and in industry, in developing methods that scale to very large graphs such as Facebook or Twitter social networks. In most of these approaches, the computational cost is alleviated by a sampling strategy retaining a subset of node neighbors or subgraphs at training time. In this paper we propose a new, efficient and scalable graph deep learning architecture which sidesteps the need for graph sampling by using graph convolutional filters of different size that are amenable to efficient precomputation, allowing extremely fast training and inference. Our architecture allows using different local graph operators (e.g. motif-induced adjacency matrices or Personalized Page Rank diffusion matrix) to best suit the task at hand. We conduct extensive experimental evaluation on various open benchmarks and show that our approach is competitive with other state-of-the-art architectures, while requiring a fraction of the training and inference time. Moreover, we obtain state-of-the-art results on ogbn-papers100M, the largest public graph dataset, with over 110 million nodes and 1.5 billion edges.

연구 동기 및 목표

• 웹 규모 그래프에서 샘플링 없이 확장 가능한 그래프 표현 학습을 동기 부여합니다.
• 빠른 학습 및 추론을 가능하게 하기 위해 diffusion 연산자를 미리 계산하는 경량하고 표현력 있는 아키텍처를 제안합니다.
• 대규모 유도(open-inductive) 및 전이(transductive) 노드 분류 벤치마크에서 경쟁력 있거나 최첨단 성능을 보여줍니다.

제안 방법

• 다중 diffusion 연산자 위의 inception 스타일 모듈을 갖춘 모델 SIGN 도입: Y = σ([XΘ0, A1XΘ1, ..., ArXΘr]); Z = 처리된 특성의 연결(concatenation); Y = ξ(ZΩ).
• 처리 그래프 구조와의 결합을 분리하기 위해 사전 계산 가능한 diffusion 연산자 Ai(간단한 인접행렬의 powered 변형, Personalized PageRank, 삼각형 기반 인접성)를 사용합니다.
• 연산자를 SIGN(p,s,t)로 결합 가능하게 하여 간단한 인접성, PPR, 삼각형 기반 인접성의 거듭제곱 수를 p, s, t가 제어하도록 하여 유연한 작업 주도 수용 영역을 가능하게 합니다.
• SIGNED를 얕은 아키텍처로 간주하여 그래프 필터링은 한 번(사전 계산) 수행되고 이후 MLP 스타일 처리는 그래프 크기보다 N과 d에 따라 확장된다는 점을 강조합니다.
• 적절한 연산자와 활성화 함수를 선택함으로써 SIGN이 일반적인 GCN/S-GCN 변형들을 에뮬레이션할 수 있음을 보여줍니다(표 2).
• 대규모 벤치마크에서 Bayesian 최적화와 표준 학습 기법(Adam, 드롭아웃, 배치 노름, 조기 종료)을 사용해 평가합니다.

실험 결과

연구 질문

• RQ1 샘플링 없는 다중 연산자 inception 스타일 확산으로 대규모 그래프에서도 이웃 샘플링 없이 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 다른 확산 연산자(간단한 인접성, PPR, 삼각형 기반 및 그들의 거듭제곱)가 유도형 및 전이형 작업의 성능에 어떤 영향을 미치는가?
• RQ3 웹 규모 데이터셋에서 SIGN을 사용할 때 확장성(학습/추론 속도)과 정확도 간의 트레이드오프는 무엇인가?
• RQ4 SIGN이 ogbn-papers100M과 같은 가장 큰 공개 그래프 벤치마크에서 효율성을 유지하면서 최첨단 결과에 도달할 수 있는가?
• RQ5 샘플링 기반 및 다른 확장 가능한 GNN과 비교했을 때 수렴 및 런타임 측면에서 SIGN의 차이는 무엇인가?

주요 결과

• SIGN은 샘플링 없는 방법들 중 ogbn-papers100M에서 최첨단 결과를 달성하며, 전이 설정에서 다른 방법보다 최소 1.8% 포인트 이상 우수합니다.
• ogbn-papers100M에서 평가를 빠르게 완료하여 검증은 약 1.99초, 테스트는 약 3.34초(10번 실행) 수준으로 수행됩니다.
• SIGN은 ogbn-products에서 샘플링 없는 기준선보다 최소 2.7%포인트 우수하며, 인덕티브 데이터셋(Reddit, Flickr, PPI)에서도 경쟁력 있는 결과를 달성합니다.
• SIGN은 ClusterGCN 및 GraphSAINT에 비해 학습 속도에서 상당한 속도 향상을 보이며, 대형 그래프(노드 수 1,200만까지)에서 추론 면에서 최소 한 차례의 차이로도 가장 빠릅니다.
• SIGN의 성능은 연산자 선택에 강건하며, 최적 구성은 데이터셋에 따라 달라지며 PPR, 삼각형, 단순 인접성 거듭제곱이 작업에 따라 다르게 기여합니다.
• A1X, ..., ArX의 사전 계산으로 MLP에 상응하는 복잡도를 갖게 되어 O(r Lff N d^2)로 확장되며 그래프 구조와 무관하게 학습/추론이 가능하게 됩니다.