[논문 리뷰] Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|2019. 04. 17.

Advanced Graph Neural Networks참고 문헌 34인용 수 19

한 줄 요약

이 논문은 반복 단위(LSTM/GRU)를 그래프 메시지 전파에 통합하여 장기적 의존성을 포착하고 노이즈 있는 근접 정보를 억제하는 새로운 GNN 클래스인 순환 그래프 신경망(RGNNs)을 제안한다. RGNNs는 PubMed, Reddit, PPI 데이터셋에서 최신 기술 수준의 성능을 달성하며, 표준 GNN과 잔차 연결이 있는 GNN보다 우수한 성능을 보이며, 특히 노이즈 있는 그래프와 특징 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we study the problem of node representation learning with graph neural networks. We present a graph neural network class named recurrent graph neural network (RGNN), that address the shortcomings of prior methods. By using recurrent units to capture the long-term dependency across layers, our methods can successfully identify important information during recursive neighborhood expansion. In our experiments, we show that our model class achieves state-of-the-art results on three benchmarks: the Pubmed, Reddit, and PPI network datasets. Our in-depth analyses also demonstrate that incorporating recurrent units is a simple yet effective method to prevent noisy information in graphs, which enables a deeper graph neural network.

연구 동기 및 목표

• 노이즈 있는 근접 정보 전파로 인해 더 깊은 GNN 학습이 어려운 문제를 해결하기 위해.
• 잔차 연결 대비 반복 단위가 더 깊은 GNN 아키텍처를 가능하게 하는 데서 성능 향상이 이루어지는지 조사하기 위해.
• 층을 넘어서 장거리 의존성을 포착하면서 국소적 특징을 유지함으로써 인덕티브 표현 학습을 향상시키기 위해.
• 다양한 GNN 및 반복 단위 조합(LSTM, GRU, IndRNN, SRU 등)에 적용 가능한 유연한 프레임워크를 개발하기 위해.

제안 방법

• 반복 단위(LSTM 또는 GRU)를 GNN 레이어 사이에 삽입하여 은닉 상태를 층 간에 유지하는 일반적인 프레임워크인 순환 그래프 신경망(RGNN)을 도입한다.
• 게이트된 반복 단위를 사용하여 반복적 근접 확장 과정에서 정보를 선택적으로 유지하거나 무시함으로써 장기적 의존성을 모델링한다.
• 역사적 근접 정보를 은닉 상태로 압축하는 복귀 메커니즘을 적용하여 노이즈 누적를 줄인다.
• 다양한 GNN 변형(GCN, GAT 등)과 다른 반복 단위를 조합할 수 있도록 지원하여 모듈화되고 확장 가능한 아키텍처 설계를 가능하게 한다.
• 각 레이어에서 표준 GNN 메시지 전달 메커니즘(예: 그래프 컨볼루션 또는 어텐션)을 사용하며, 반복 단위가 레이어 간에 은닉 상태를 업데이트한다.
• 은닉 상태는 표준 LSTM/GRU 업데이트 규칙을 사용하여 업데이트되며, 입력 게이트, 잊기 게이트, 출력 게이트가 층 간의 정보 흐름을 제어한다.

실험 결과

연구 질문

• RQ1 GNN에서 반복 단위가 깊은 메시지 전파 과정에서 노이즈 있는 근접 정보를 효과적으로 억제할 수 있는가?
• RQ2 잔차 연결을 반복 단위로 대체할 경우 더 깊은 GNN에서 성능 향상이 이루어지는가?
• RQ3 그래프 구조 및 특징 노이즈에 대한 강건성 측면에서 RGNN 프레임워크는 잔차 연결이 있는 GNN보다 어떻게 비교되는가?
• RQ4 LSTM과 GRU와 같은 다양한 GNN 아키텍처 및 반복 단위 유형 간에 RGNN 프레임워크가 일반화 가능한가?
• RQ5 깊은 인덕티브 그래프 표현 학습을 가능하게 하기 위해 복귀 메커니즘이 스킵 연결보다 더 효과적인가?

주요 결과

• RGNNs는 감독 및 비감독 설정 모두에서 PubMed, Reddit, PPI 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 대부분의 설정에서 GRU 단위를 사용한 RGNNs보다 LSTM 단위를 사용한 RGNNs가 더 뛰어난 성능을 보이며, 특히 높은 노이즈 수준에서 두드러진다.
• 잔차 연결이 있는 GNNs보다 그래프 구조의 변형(예: 무작위 간선 재연결)에 대해 더 뛰어난 강건성을 보인다.
• 국소적 노드 특징이 가우시안 노이즈에 의해 손상되어도 RGNNs는 높은 성능을 유지하며, 더 나은 노이즈 필터링 능력을 보여준다.
• 잔차 연결이 있는 GNN의 성능은 깊이가 증가함에 따라著著 감소하는 반면, RGNNs는 깊이가 증가함에 따라 성능을 유지하거나 향상시킨다.
• 변형 연구에서 LSTM 단위를 사용한 RGNNs는 그래프 구조 및 노드 특징 노이즈 수준이 다양할 경우에도 가장 일관된 강건성을 보였다.