[논문 리뷰] GRESNET: Graph Residuals for Reviving Deep Graph Neural Nets from Suspended Animation

Jiawei Zhang|arXiv (Cornell University)|2019. 09. 12.

Advanced Graph Neural Networks인용 수 3

한 줄 요약

이 논문은 깊은 GNN에서의 정지 상태 문제를 완화하기 위해 모든 레이어를 관통하는 광범위한 스킵 연결을 가능하게 하여 노드 표현의 노름을 유지하고 학습 능력을 복원하는 그래프 잔차 네트워크인 GResNet을 소개한다. 그래프 잔차의 노름 유지성을 증명하고, 기준 데이터셋에서 GCN, GAT, LoopyNet에 대해 향상된 성능을 보여준다.

ABSTRACT

The existing graph neural networks (GNNs) based on the spectral graph convolutional operator have been criticized for its performance degradation, which is especially common for the models with deep architectures. In this paper, we further identify the suspended animation problem with the existing GNNs. Such a problem happens when the model depth reaches the suspended animation limit, and the model will not respond to the training data any more and become not learnable. Analysis about the causes of the suspended animation problem with existing GNNs will be provided in this paper, whereas several other peripheral factors that will impact the problem will be reported as well. To resolve the problem, we introduce the GResNet (Graph Residual Network) framework in this paper, which creates extensively connected highways to involve nodes' raw features or intermediate representations throughout the graph for all the model layers. Different from the other learning settings, the extensive connections in the graph data will render the existing simple residual learning methods fail to work. We prove the effectiveness of the introduced new graph residual terms from the norm preservation perspective, which will help avoid dramatic changes to the node's representations between sequential layers. Detailed studies about the GResNet framework for many existing GNNs, including GCN, GAT and LoopyNet, will be reported in the paper with extensive empirical experiments on real-world benchmark datasets.

연구 동기 및 목표

• 깊은 그래프 신경망(GNN)에서 발생하는 성능 저하 문제를 해결하되, 이는 모델이 훈련 데이터에 대해 반응하지 못하게 되는 정지 상태 문제 때문이며, 이를 해결하고자 한다.
• 특히 깊은 아키텍처에서 발생하는 스펙트럼 기반 GNN에서 정지 상태 문제의 근본 원인을 규명하고자 한다.
• 모든 레이어를 관통하는 광범위한 스킵 연결을 통해 표현 안정성을 유지하는 새로운 잔차 프레임워크인 GResNet을 개발하고자 한다.
• 제안된 그래프 잔차 항목이 노드 표현의 노름을 유지하여 레이어 간 급격한 변화를 방지함을 보장하고자 한다.
• 실세계 기준 데이터셋에서 GCN, GAT, LoopyNet을 포함한 다양한 GNN 아키텍처에 대해 GResNet의 효과성을 검증하고자 한다.

제안 방법

• 모든 레이어를 관통해 원본 노드 특징과 중간 표현 간의 그래프 잔차 항목을 도입하여 네트워크 내 광범위한 하이웨이를 형성한다.
• 그래프 데이터의 구조적 특성에 특화된 잔차 연결을 설계하여, 이 분야에서 표준 잔차 학습 기법의 한계를 극복하고자 한다.
• 제안된 그래프 잔차 항목이 노드 표현의 노름을 유지함을 이론적으로 증명하고, 깊은 레이어에서의 훈련 동역학을 안정화함을 보여준다.
• GCN, GAT, LoopyNet와 같은 기존 GNN에 GResNet 프레임워크를 통합하기 위해 잔차 연결을 노름 보존을 지원하도록 수정한다.
• 표현 안정성을 유지하기 위해 깊은 그래프 컨볼루션 레이어 스택을 통해 작동하는 수정된 메시지 전달 메커니즘을 적용한다.
• 실세계 기준 데이터셋을 대상으로 광범위한 실험 평가를 수행하여 다양한 GNN 아키텍처에서 일반화 능력과 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 깊은 스펙트럼 기반 GNN에서 정지 상태 문제의 원인은 무엇이며, 이를 통해 모델의 학습 능력이 어떻게 제한되는가?
• RQ2 왜 표준 잔차 학습 기법은 그래프 구조 데이터, 특히 깊은 아키텍처에서 실패하는가?
• RQ3 어떻게 광범위한 스킵 연결을 설계하여 그래프 신경망에서 표현의 노름을 유지할 수 있는가?
• RQ4 GResNet 프레임워크는 GCN, GAT, LoopyNet와 같은 기존 GNN의 성능과 안정성에 얼마나 기여하는가?
• RQ5 깊은 GNN에서 GResNet의 성공에 영향을 미치는 주요 아키텍처적 요소와 훈련 동역학 요소는 무엇인가?

주요 결과

• 모델의 깊이가 임계값을 초과할 경우 정지 상태 문제가 발생하여 네트워크가 훈련 데이터에 반응하지 못하고 학습이 불가능해진다.
• 제안된 GResNet 프레임워크는 모든 레이어를 관통하는 광범위한 스킵 연결을 통해 노드 표현의 노름을 유지함으로써 깊은 GNN을 효과적으로 복원한다.
• 실증 결과는 GCN, GAT, LoopyNet에 대해 실세계 기준 데이터셋에서 일관된 성능 향상이 관찰됨을 보여준다.
• 그래프 잔차 항목의 노름 보존 성질은 이론적으로 증명되었으며, 깊은 아키텍처에서 훈련 동역학을 안정화함을 입증했다.
• 그래프 구조나 특징 분포와 같은 부수적 요소는 정지 상태 문제의 발생에 영향을 미치지만, GResNet은 이러한 부정적 영향을 효과적으로 완화한다.
• GResNet은 표준 잔차 학습 기법이 그래프 구조 데이터에서 제한을 받는 문제를 극복하고 더 깊은 GNN을 효과적으로 훈련시킬 수 있도록 한다.