[논문 리뷰] Predict then Propagate: Graph Neural Networks meet Personalized PageRank

Johannes Gasteiger, Aleksandar Bojchevski외 1명|arXiv (Cornell University)|2018. 10. 14.

Advanced Graph Neural Networks인용 수 431

한 줄 요약

이 논문은 PPNP와 그 빠른 변형 APPNP를 소개합니다. 예측을 전파와 분리하여 개인화 페이지랭크를 사용해 근접 이웃에 걸친 뉴럴 예측을 전파하고, 적은 매개변수와 효율적인 학습으로 최첨단 결과를 달성합니다.

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online.

연구 동기 및 목표

• 전통적인 GCN이 과평활화로 인해 작은 이웃만 사용하는 한계를 동기 부여한다.
• locality를 보존하면서 큰 이웃을 활용하기 위해 개인화 페이지랭크 기반의 전파 스킴을 제안한다.
• 확장성과 유연성을 위해 예측 네트워크를 전파 메커니즘과 분리한다.
• 여러 그래프 데이터셋에 대해 경쟁력 있는 정확도와 효율성을 갖춘 엔드 투 엔드 학습 가능 모델을 제공한다.

제안 방법

• Graph Convolutional Networks를 PageRank와 연결하고 루트 노드 텔레포트 벡터를 사용해 개인화 페이지랭크로 확장한다.
• 노드 예측을 신경망으로부터 얻어 개인화 페이지랭크 체계를 통해 전파하는 PPNP를 정의한다: Z_PPNP = softmax(alpha(I - (1-alpha)A_hat)^-1 H).
• 앱널APPNP를 파워 이터레이션으로 확장 가능한 근사 버전으로 도입한다: Z^(0)=H; Z^(k+1)=(1-alpha)A_hat Z^(k) + alpha H; Z^(K)=softmax(...).
• 텔레포트 확률 alpha를 사용해 국지성과 전역 영향력의 균형을 제어하고 과도한 평활화 없이 매우 깊은 효과적 전파를 가능하게 한다.
• 끝에서 끝으로 학습하며 H는 신경망 f_theta(X)에 의해 생성된다.
• 희소 행렬 반전 회피와 예측기 네트워크와의 전파 의존성 분리를 통해 희소성을 유지한다.

실험 결과

연구 질문

• RQ1 페이지랭크 기반 전파 스킴이 큰 이웃을 사용하면서도 노드 분류에 필요한 지역성을 보존할 수 있는가?
• RQ2 예측과 전파의 분리를 통해 GNN의 효율성과 확장성이 정확도를 희생하지 않고 향상될 수 있는가?
• RQ3 텔레포트 매개변수 alpha와 전파 단계 수 K가 데이터셋 간 성능에 어떤 영향을 미치는가?
• RQ4 APPNP가 선형 복잡도에서 PPNP를 정확하게 근사하면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 pretrained 네트워크의 학습, 추론 중 어느 단계에서 전파가 유익한가?

주요 결과

• PPNP와 APPNP는 엄격한 평가 프로토콜에서 다수의 그래프 데이터셋에서 여러 SOTA GCN 유사 모델보다 일관되게 우수하게 나타난다.
• APPNP는 선형 시간 복잡도로 거의 정확한 PPNP 성능을 달성하고 그래프의 희소성을 보존한다.
• 개인화 페이지랭크를 이용한 전파는 특히 라벨이 적고 효과적 이웃이 큰 설정에서 정확도를 향상시킨다.
• 모델은 경쟁력 있는 학습 시간을 유지하며, APPNP가 일반적으로 더 복잡한 대안보다 빠르고 더 큰 그래프에도 확장 가능하다.
• 100개의 무작위 분할, 부트스트랩 신뢰구간, 대응 t-검정으로 이루어진 철저한 통계 평가가 baselines 대비 보고된 이득을 뒷받침한다.
• 추론 중 전파는 예측기가 그래프 정보를 학습하지 않아도 정확도를 크게 향상시킨다.