[논문 리뷰] Inductive Graph Representation Learning with Recurrent Graph Neural Networks

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|2019. 04. 17.

Advanced Graph Neural Networks참고 문헌 18인용 수 5

한 줄 요약

이 논문은 반복 단위를 사용하여 반복적 인접 노드 집합 과정 동안 층 간 장기적 의존성을 모델링하는 새로운 유형의 그래프 신경망인 순환 그래프 신경망(RGNNs)을 제안한다. 지속적인 정보를 포착하고 노이즈를 걸러내어 PubMed, Reddit, PPI 벤치마크에서 최신 기술 수준의 성능을 달성함으로써 더 깊고 더 견고한 그래프 표현 학습을 가능하게 한다.

ABSTRACT

In this paper, we study the problem of node representation learning with graph neural networks. We present a graph neural network class named recurrent graph neural network (RGNN), that address the shortcomings of prior methods. By using recurrent units to capture the long-term dependency across layers, our methods can successfully identify important information during recursive neighborhood expansion. In our experiments, we show that our model class achieves state-of-the-art results on three benchmarks: the Pubmed, Reddit, and PPI network datasets. Our in-depth analyses also demonstrate that incorporating recurrent units is a simple yet effective method to prevent noisy information in graphs, which enables a deeper graph neural network.

연구 동기 및 목표

• 이웃 집합 과정 동안 층 간 장기적 의존성을 포착하는 데 있어 기존 그래프 신경망의 한계를 해결하기 위해.
• 다중 층을 통해 지속적인 정보를 모델링하여 노이즈가 많은 그래프 구조에서의 표현 학습을 향상시키기 위해.
• 반복 메시지 전파 과정에서 노이즈이거나 관련성이 없는 특징의 전파를 완화시켜 더 깊은 그래프 신경망을 가능하게 하기 위해.
• 복잡한 수정 없이도 성능을 향상시키는 단순하지만 효과적인 아키텍처를 개발하기 위해.

제안 방법

• 제안된 RGNN 프레임워크는 그래프 신경망 내부에 GRU 또는 LSTM과 같은 반복 단위를 사용하여 층 간 은닉 상태를 유지한다.
• 이러한 반복 단위는 다중 층을 통해 이웃 노드로부터 메시지를 집계하여 장기적 의존성을 추적하고 업데이트할 수 있도록 한다.
• 각 층의 은닉 상태는 현재 메시지와 이전 은닉 상태를 조합하는 반복 메커니즘을 통해 업데이트된다.
• 최종 노드 표현은 반복 단위의 최종 은닉 상태에서 유도되며, 국소적이고 장거리적 구조적 정보를 모두 반영한다.
• 역전파 과정에서 기울기 감쇠를 줄이고 정보 흐름을 안정화시켜 더 깊은 네트워크 스택을 지원한다.
• 표준 역전파를 사용하여 그래프 구조 데이터에서 끝에서 끝까지 적용되는 노드 분류 작업에 적용된다.

실험 결과

연구 질문

• RQ1 반복 단위는 반복적 인접 노드 집합 과정 동안 그래프 신경망에서 장기적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 반복성을 통합함으로써 노이즈가 많은 그래프 구조에서 표현 학습은 어떻게 향상되는가?
• RQ3 성능 저하 없이 반복 GNN은 얼마나 깊은 아키텍처를 지원할 수 있는가?
• RQ4 제안된 RGNN 프레임워크는 표준 노드 분류 벤치마크에서 기존 GNN을 능가하는가?

주요 결과

• RGNN 모델은 PubMed, Reddit, PPI 그래프 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 반복 단위의 사용은 층 간 노이즈 특징의 전파를 상당히 줄여 모델의 견고성을 향상시킨다.
• 정보 흐름을 안정화시키고 다중 층을 거쳐도 유의미한 신호를 유지함으로써 더 깊은 그래프 신경망을 가능하게 한다.
• 실증 분석을 통해 반복 단위가 이웃 확장 과정에서 중요한 구조적 패턴을 식별하고 유지하는 데 도움이 된다는 것이 확인된다.
• 인용, 사회 네트워크, 단백질-단백질 상호작용 네트워크를 포함한 다양한 그래프 유형에서 일관된 향상이 나타난다.
• 제거 실험을 통해 반복 메커니즘이 모델의 뛰어난 성능의 핵심 요소임을 검증한다.