[논문 리뷰] Combining Neural Networks with Personalized PageRank for Classification on Graphs

Johannes Klicpera, Aleksandar Bojchevski외 1명|arXiv (Cornell University)|2018. 10. 14.

Advanced Graph Neural Networks인용 수 52

한 줄 요약

이 논문은 신경망과 개인화된 PageRank를 조합하여, 조정 가능한 넓은 이웃을 활용함으로써 그래프 분류 성능을 향상시키는 PPNP 및 APPNP 모델을 제안한다. 표준 메시지 전파 방식을 PageRank 기반 전파로 대체함으로써, 훈련 시간과 파라미터 수와 비교적 유사하거나 낮은 수준을 유지하면서도 최근의 GCN 유사 모델들을 능가하는 최신 기술 수준의 성능을 달성한다. 종합적인 평가에서 뛰어난 성능을 보였다.

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online.

연구 동기 및 목표

• 기존 그래프 신경망이 몇 단계의 전파 단계 내에서만 노드를 고려하는 수신 필드의 제한을 해결하기 위해.
• 메시지 전파에 사용하는 이웃 영역을 넓힘으로써 그래프 구조 데이터의 분류 성능을 향상시키기 위해.
• 유연하고 대규모의 이웃 집계를 가능하게 하면서도 훈련 시간과 파라미터 수를 낮게 유지하는 방법을 개발하기 위해.
• 모든 신경망 아키텍처와 호환되는 프레임워크를 만들기 위해.
• 최근의 GCN 기반 모델들과의 비교를 포함한 철저한 실증 평가를 제공하기 위해.

제안 방법

• 그래프 컨volution 네트워크(GCN)와 개인화된 PageRank 사이의 연결 고리를 도출하여 새로운 전파 방식을 설계한다.
• 개인화된 전파의 신경 예측(PPNP)을 도입하며, 이는 전체 개인화된 PageRank 행렬을 사용하여 그래프 전반에 걸쳐 예측을 전파한다.
• 전체 PageRank 행렬을 고정점 반복으로 대체함으로써 계산 비용을 줄인 빠른 근사치인 APPNP를 제안한다.
• 전파 단계를 신경망 프레임워크에 통합하여, 어떤 신경망 아키텍처와도 종료형 훈련이 가능하게 한다.
• 개인화된 PageRank의 정적 분포를 활용하여 큰, 조정 가능한 수신 필드를 가능하게 한다.
• 전파 단계는 PageRank 공식에 의해 미분 가능하며, 표준 역전파를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 표준 GCN 메시지 전파 방식보다 더 넓고 더 민감한 이웃을 사용하는 그래프 신경망 모델이 더 높은 성능을 달성할 수 있는가?
• RQ2 표준 메시지 전파 방식을 개인화된 PageRank 전파로 대체하면, 준지도 학습 노드 분류 작업에서 일반화 성능이 향상되는가?
• RQ3 제안된 방법이 최신 기술 수준의 GCN 유사 모델들을 능가하면서도 훈련 시간과 파라미터 수를 낮게 유지할 수 있는가?
• RQ4 기존 방법들과 비교하여 이웃 크기와 그래프 크기에 따라 모델이 어떻게 스케일링되는가?
• RQ5 다양한 구조와 희박성의 그래프 데이터셋에 걸쳐 이 방법이 강건하고 효과적인가?

주요 결과

• PPNP와 APPNP는 여러 벤치마크 데이터셋에서 준지도 학습 노드 분류 작업에서 최신 기술 수준의 성능을 달성한다.
• 이번까지 가장 종합적인 평가에서, 최근에 제안된 여러 GCN 유사 모델들을 능가한다.
• PPNP와 APPNP의 훈련 시간은 더 넓은 이웃을 사용하고 있음에도 불구하고 이전 모델들과 비슷하거나 더 빠르다.
• PPNP와 APPNP의 파라미터 수는 경쟁 모델들과 비슷하거나 더 적어 효율성을 보장한다.
• APPNP는 PPNP에 가까운 성능을 달성하면서도 훨씬 더 빠르므로 대규모 그래프에 적합하다.
• 개인화된 PageRank를 통해 장거리 의존성을 효과적으로 활용함으로써 강력한 일반화 성능을 보였다.