[논문 리뷰] Personalized Embedding Propagation: Combining Neural Networks on Graphs with Personalized PageRank.

Johannes Klicpera, Aleksandar Bojchevski외 1명|arXiv (Cornell University)|2018. 10. 14.

Advanced Graph Neural Networks인용 수 21

한 줄 요약

이 논문은 노드 분류를 위해 네트워크의 크기와 조정 가능한 이웃 범위를 허용하는 그래프 신경망과 개인화된 페이지랭크를 결합한 개인화된 임베딩 전파(PEP) 및 그 근사치인 PEP_A를 제안한다. GCN와 페이지랭크 간의 수학적 연관성을 활용함으로써, 기존 방법과 유사하거나 더 빠른 학습 속도와 더 적은 파라미터를 사용하면서도, 반감성 그래프 분류에서 최고 성능을 달성한다.

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood cannot be easily extended. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct personalized embedding propagation (PEP) and its approximation, PEP$_ ext{A}$. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification on multiple graphs in the most thorough study done so far for GCN-like models.

연구 동기 및 목표

• 기존 그래프 신경망이 몇 단계의 전파 이내 노드만 고려하는 한계를 해결하기 위해.
• 원거리 노드까지 포함할 수 있도록 조정 가능한 확장성 있고 유연한 이웃 집계 메커니즘을 개발하기 위해.
• 기존 GCN 기반 모델과 비교해 학습 시간과 파라미터 수를 줄이거나 유지하면서 성능을 유지를 또는 향상시키기 위해.
• 어떠한 신경망 아키텍처와도 호환되는 일반적인 전파 프레임워크를 만들기 위해.
• 다양한 그래프 데이터셋에서 종합적인 벤치마킹 연구를 통해 방법의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 그래프 컬러션 네트워크(GCN)와 개인화된 페이지랭크 간의 이론적 연결을 유도하여 새로운 메시지 전달 메커니즘을 설계하기 위해.
• 노드 특징의 집계 가중치로 개인화된 페이지랭크 벡터를 사용하는 개인화된 임베딩 전파(PEP) 기법을 설계하기 위해.
• 계산 비용을 줄이면서도 성능을 유지하는 PEP의 효율적 근사치인 PEP_A를 도입하기 위해.
• 페이지랭크의 학습 가능한 개인화 파라미터를 활용해 효과적인 이웃 크기를 동적으로 제어하기 위해.
• 어떠한 그래프 기반 신경망 아키텍처와도 결합할 수 있는 미분 가능 레이어로 PEP 메커니즘을 통합하기 위해.
• 개인화된 페이지랭크의 폐쇄형 해를 활용해 대규모 그래프에서 빠르고 확장 가능한 계산을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 개인화된 페이지랭크 기반 집계 메커니즘이 GCN 유사 모델의 수신 필드를 국소 이웃을 초월해 개선할 수 있는가?
• RQ2 제안된 PEP 방법이 반감성 그래프 학습 벤치마크에서 기존 GCN 기반 모델보다 더 높은 분류 정확도를 달성할 수 있는가?
• RQ3 효과적인 이웃 크기를 확장함에도 불구하고, PEP는 학습 시간과 파라미터 수를 유지하거나 줄일 수 있는가?
• RQ4 PEP의 성능은 다양한 그래프 데이터셋과 아키텍처에서 어떻게 스케일링되는가?
• RQ5 PEP는 아키텍처 수정 없이 다양한 신경망 아키텍처와 얼마나 잘 통합될 수 있는가?

주요 결과

• PEP는 최근에 제안된 여러 GCN 유사 모델보다 다수의 벤치마크 그래프에서 가장 포괄적인 평가 이전까지 최고의 성능을 보였다.
• 더 넓고 조정 가능한 수신 필드를 통해 반감성 노드 분류 작업에서 최고 수준의 성능을 달성했다.
• 더 넓은 이웃을 사용하고 있음에도 불구하고, PEP는 기존 모델들과 유사하거나 더 빠른 학습 시간을 유지했다.
• PEP의 파라미터 수는 경쟁 모델들과 비교해 유사하거나 더 적어 효율성을 보였다.
• PEP_A는 PEP의 대부분의 성능를 유지하면서도 계산 오버헤드를 크게 줄였다.
• 이 방법은 일반적이며, 그래프 구조 데이터에 대한 어떠한 신경망 아키텍처와도 원활하게 통합될 수 있다.