[논문 리뷰] Network In Graph Neural Network

Xiang Song, Runjie Ma외 3명|arXiv (Cornell University)|2021. 11. 23.

Advanced Graph Neural Networks참고 문헌 40인용 수 6

한 줄 요약

이 논문은 GNN의 표현 능력을 향상시키기 위해 각 GNN 레이어 내부에 비선형 피드포워드 네트워크를 삽입함으로써 오버피팅과 오버스무딩을 방지하는 모델에 종속되지 않는 방법인 네트워크 인 그래프 신경망(NGNN)을 제안한다. NGNN는 다양한 GNN과 작업에서 성능을 향상시키며, OGB 링크 예측 랭킹에서 상태의 최고 성능을 기록하며, SEAL의 hits@100에서 최대 7.08% 향상과 GraphSage+Edge-Attr의 hits@20에서 6.22% 향상을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown success in learning from graph structured data containing node/edge feature information, with application to social networks, recommendation, fraud detection and knowledge graph reasoning. In this regard, various strategies have been proposed in the past to improve the expressiveness of GNNs. For example, one straightforward option is to simply increase the parameter size by either expanding the hid-den dimension or increasing the number of GNN layers. However, wider hidden layers can easily lead to overfitting, and incrementally adding more GNN layers can potentially result in over-smoothing.In this paper, we present a model-agnostic methodology, namely Network In Graph Neural Network (NGNN ), that allows arbitrary GNN models to increase their model capacity by making the model deeper. However, instead of adding or widening GNN layers, NGNN deepens a GNN model by inserting non-linear feedforward neural network layer(s) within each GNN layer. An analysis of NGNN as applied to a GraphSage base GNN on ogbn-products data demonstrate that it can keep the model stable against either node feature or graph structure perturbations. Furthermore, wide-ranging evaluation results on both node classification and link prediction tasks show that NGNN works reliably across diverse GNN architectures.For instance, it improves the test accuracy of GraphSage on the ogbn-products by 1.6% and improves the hits@100 score of SEAL on ogbl-ppa by 7.08% and the hits@20 score of GraphSage+Edge-Attr on ogbl-ppi by 6.22%. And at the time of this submission, it achieved two first places on the OGB link prediction leaderboard.

연구 동기 및 목표

• 숨겨진 차원 수나 레이어 수를 늘릴수록 발생하는 깊은 GNN에서의 오버피팅과 오버스무딩 문제를 해결하기 위해.
• 모델 깊이 또는 너비를 크게 증가시키지 않고도 GNN의 표현 능력을 향상시킬 수 있는 모델에 종속되지 않는 방법을 개발하기 위해.
• 노드 특성 및 그래프 구조의 변형에 대한 강건성을 향상시키기 위해.
• 최소한의 계산 오버헤드로 대규모 그래프 벤치마크 데이터셋에서 최고 성능을 달성하기 위해.
• 이웃 샘플링, 클러스터 기반 샘플링, 국소 서브그래프 샘플링을 포함한 다양한 학습 방법과의 호환성을 보장하기 위해.

제안 방법

• 추가적인 GNN 레이어를 쌓는 대신, 각 GNN 레이어 내부에 비선형 피드포워드 신경망 레이어를 삽입한다.
• 장소에 따라 입력, 히든, 출력 GNN 레이어에 별도로 NGNN를 적용하여 배치 위치의 영향을 분석한다.
• ReLU 및 시그모이드와 같은 활성화 함수를 사용하여 NGNN 레이어에 추가적인 비선형성을 도입한다.
• GraphSage, GAT, GCN, AGDN, SEAL 등 다양한 GNN 아키텍처와 NGNN를 통합한다.
• 전체 그래프 학습, 이웃 샘플링, 그래프 클러스터링, 국소 서브그래프 샘플링을 포함한 다양한 학습 파라다임을 지원한다.
• ogbn-products 및 기타 벤치마크에서 추론 실험을 통해 NGNN의 배치 및 구조 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 GNN 레이어 내부에 피드포워드 네트워크를 삽입함으로써 모델의 표현 능력을 높일 수 있는가? 이는 모델의 깊이 또는 너비를 증가시키지 않아도 된다.
• RQ2 노드 특성 및 그래프 구조의 변형 상황에서 NGNN는 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 GNN 아키텍처의 어느 부분(입력, 히든, 출력)에 NGNN를 적용할 경우 가장 효과적인가?
• RQ4 다양한 GNN 모델과 작업에서 NGNN가 최고 성능을 달성할 수 있는가?
• RQ5 기존의 깊은 GNN 접근 방식에 비해 NGNN의 메모리 및 학습 효율성은 어떠한가?

주요 결과

• NGNN를 히든 레이어에 적용한 결과, ogbn-products에서 GraphSage의 테스트 정확도가 1.6% 향상되어 79.91%를 기록한다.
• 모든 레이어에 NGNN를 적용한 결과, ogbl-ppa에서 SEAL의 hits@100 점수가 7.08% 향상되어 76.48%에 도달한다.
• 모든 레이어에 NGNN를 적용한 결과, ogbl-ppi에서 GraphSage+Edge-Attr의 hits@20 점수가 6.22% 향상되어 83.45%에 도달한다.
• AGDN+BoT+self-KD+C&S와 함께 NGNN를 사용한 결과, 파rameter 수가 적은 점을 고려할 때 ogbn-arxiv 노드 분류 랭킹에서 4위를 기록한다.
• GAT+BoT와 함께 NGNN를 사용한 결과, ogbn-proteins 랭킹에서 2위를 기록하며 높은 효율성과 성능을 입증한다.
• ogbn-products에서 노드 특성 및 그래프 구조의 변화에 대한 변형 상황에서도 NGNN는 안정적인 성능을 유지한다.