[논문 리뷰] Efficient Graph Neural Network Inference at Large Scale

Xinyi Gao, Wentao Zhang외 4명|arXiv (Cornell University)|2022. 11. 01.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프의 위상적 구조를 기반으로 각 노드별로 동적으로 전파 순서를 적응적으로 조정함으로써 부가적인 계산을 줄이고 대규모 그래프 신경망 추론을 가속화하는 플러그 앤 플레이 프레임워크인 Node-Adaptive Inference (NAI)를 제안한다. 다중 척도 특징 학습을 위한 Inception Distillation을 결합함으로써, ogbn-products 데이터셋에서 최대 75배의 속도 향상을 달성하면서도 다양한 지연 시간 제약 조건에서도 높은 정확도를 유지한다.

ABSTRACT

Graph neural networks (GNNs) have demonstrated excellent performance in a wide range of applications. However, the enormous size of large-scale graphs hinders their applications under real-time inference scenarios. Although existing scalable GNNs leverage linear propagation to preprocess the features and accelerate the training and inference procedure, these methods still suffer from scalability issues when making inferences on unseen nodes, as the feature preprocessing requires the graph is known and fixed. To speed up the inference in the inductive setting, we propose a novel adaptive propagation order approach that generates the personalized propagation order for each node based on its topological information. This could successfully avoid the redundant computation of feature propagation. Moreover, the trade-off between accuracy and inference latency can be flexibly controlled by simple hyper-parameters to match different latency constraints of application scenarios. To compensate for the potential inference accuracy loss, we further propose Inception Distillation to exploit the multi scale reception information and improve the inference performance. Extensive experiments are conducted on four public datasets with different scales and characteristics, and the experimental results show that our proposed inference acceleration framework outperforms the SOTA graph inference acceleration baselines in terms of both accuracy and efficiency. In particular, the advantage of our proposed method is more significant on larger-scale datasets, and our framework achieves $75 imes$ inference speedup on the largest Ogbn-products dataset.

연구 동기 및 목표

• 추천 시스템 및 사기 탐지와 같은 실시간, 지연 시간에 민감한 응용 분야에서 그래프 신경망(GNN) 추론의 확장성 문제를 해결한다.
• 기존의 선형 전파 GNN이 고정된 사전 계산된 그래프에 의존하고 추론 중에 새로운 노드를 효율적으로 처리할 수 없는 한계를 극복한다.
• 노드의 위상적 맥락에 기반해 최적의 전파 깊이를 동적으로 결정하여 특징 전파 과정에서의 부가적인 계산을 줄인다.
• 조정 가능한 하이퍼파rameter를 통해 추론 지연 시간과 정확도 사이의 탄력적인 트레이드오���을 가능하게 한다.
• 특징 전파의 조기 종료로 인한 정확도 저하를 보완하기 위해 새로운 다중 척도 지식 디스틸레이션 기법을 제안한다.

제안 방법

• 노드의 특징 스무딩의 정적 상태까지의 거리에 기반해 각 노드별로 개인화된 전파 순서를 계산하는 플러그 앤 플레이 방법인 Node-Adaptive Inference (NAI)를 제안한다.
• 전파를 각 노드에서 언제 중단할지를 결정함으로써 추론 속도와 정확도 사이의 트레이드오프를 제어하는 단순한 글로벌 하이퍼파rameter를 사용한다.
• 다양한 전파 깊이에서의 특징을 활용해 학생 모델의 수신 필드를 풍부하게 하는 다중 척도 지식 디스틸레이션 모듈인 Inception Distillation을 도입한다.
• 모든 모델을 재학습하지 않고도 성능을 향상시키기 위해, 여러 교사 모델(예: f^(1), f^(2), f^(3))의 소프트 레이블을 사용해 온라인 디스틸레이션을 적용한다.
• 다중 종료 지점의 공동 학습이 필요 없도록 비파ram터화된, 그래프에 종속되지 않는 특징 전파 메커니즘을 설계하여 학습 안정성을 향상시킨다.
• 노드의 차수, 이웃 구조 등의 위상 정보를 활용해 조기 종료를 안내함으로써, CV/NLP 분야에서 흔히 발생하는 반복 예측을 방지한다.

실험 결과

연구 질문

• RQ1 노드별로 적응적인 전파 깊이를 사용하면 정확도 손실 없이 GNN 추론에서의 부가 계산을 줄일 수 있는가?
• RQ2 위상적 구조에 기반한 동적 전파 순서가 고정 순서 전파에 비해 추론 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 다중 척도 지식 디스틸레이션은 특징 전파의 조기 종료로 인한 성능 저하를 어느 정도 보완할 수 있는가?
• RQ4 제안된 방법은 다양한 지연 시간 제약 조건 하에서도 대규모 실생활 그래프에서 높은 정확도를 유지하면서 상당한 속도 향상을 달성할 수 있는가?
• RQ5 다양한 규모와 위상적 특성을 가진 다양한 그래프 데이터셋에 대해 이 프레임워크는 얼마나 일반화되는가?

주요 결과

• NAI는 평가된 가장 대규모 그래프인 ogbn-products 데이터셋에서 최대 75배의 추론 속도 향상을 달성하여 그 효과를 입증한다.
• 모든 데이터셋에서 높은 분류 정확도를 유지하며, 특히 소프트 레이블과 3개의 교사 모델 앙상블을 사용할 경우 정확도 저하가 최소화된다.
• Inception Distillation은 다양한 하이퍼파ram터 설정에서 성능을 안정화시키며, 레이블 소프트닝에 대해 λ ∈ [0.5, 1] 범위에서 최적의 성능을 보인다.
• 정확도와 효율성 측면에서 SOTA 기준 모델보다 뛰어난 성능을 보이며, 특히 더 큰 그래프에서 그 우월성이 더욱 두드러진다.
• 적응형 전파 메커니즘은 불필요한 전파 단계를 방지함으로써 부가 계산을 줄이며, 특히 과도하게 스무딩되기 쉬운 고차수 노드에 유리하다.
• 이 방법은 실생활 인덕티브 환경에서 유연하고 구현 가능하며, 고정된 그래프 구조가 필요 없이 새로운 노드에 대한 효율적인 온라인 추론을 가능하게 한다.