[논문 리뷰] Improving Graph Neural Networks with Simple Architecture Design

Sunil Kumar Maurya, Xin Liu외 1명|arXiv (Cornell University)|2021. 05. 17.

Advanced Graph Neural Networks참고 문헌 36인용 수 17

한 줄 요약

이 논문은 소프트선택과 홉정규화를 통해 특성 집합과 표현 학습을 분리함으로써, 노드 분류 작업에서 최신 기술 대비 최대 64% 높은 정확도를 달성하면서도 해석 가능한 특성 중요도 분석과 수십억 간선을 가진 그래프로의 확장성을 제공하는 간단하면서도 효과적인 그래프 신경망 FSGNN을 제안한다.

ABSTRACT

Graph Neural Networks have emerged as a useful tool to learn on the data by applying additional constraints based on the graph structure. These graphs are often created with assumed intrinsic relations between the entities. In recent years, there have been tremendous improvements in the architecture design, pushing the performance up in various prediction tasks. In general, these neural architectures combine layer depth and node feature aggregation steps. This makes it challenging to analyze the importance of features at various hops and the expressiveness of the neural network layers. As different graph datasets show varying levels of homophily and heterophily in features and class label distribution, it becomes essential to understand which features are important for the prediction tasks without any prior information. In this work, we decouple the node feature aggregation step and depth of graph neural network and introduce several key design strategies for graph neural networks. More specifically, we propose to use softmax as a regularizer and "Soft-Selector" of features aggregated from neighbors at different hop distances; and "Hop-Normalization" over GNN layers. Combining these techniques, we present a simple and shallow model, Feature Selection Graph Neural Network (FSGNN), and show empirically that the proposed model outperforms other state of the art GNN models and achieves up to 64% improvements in accuracy on node classification tasks. Moreover, analyzing the learned soft-selection parameters of the model provides a simple way to study the importance of features in the prediction tasks. Finally, we demonstrate with experiments that the model is scalable for large graphs with millions of nodes and billions of edges.

연구 동기 및 목표

• 스택된 GNN 레이어에서 특성 중요도와 모델 표현력 간의 분리 문제를 해결하기 위해.
• 깊은 아키텍처에 의존하지 않고도 동질성과 이질성 그래프 데이터셋 모두에서 성능을 향상시키기 위해.
• 학습 가능한 소프트선택 파rameter를 통해 설명 가능한 특성 중요도 분석을 가능하게 하기 위해.
• 수백만 개의 노드와 수십억 개의 간선을 가진 대규모 그래프에 적합한 확장성 있는 얕은 GNN 모델을 설계하기 위해.
• 간단한 아키텍처 수정이 복잡한 깊은 GNN 변종보다도 우수한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 이웃 특성 집합과 최종 MLP 변환을 분리하여 특성 집합과 표현 학습을 분리한다.
• 다양한 홉 거리에서 집합된 특성을 동적으로 가중치 부여하기 위해 소프트맥스 기반 소프트선택기(soft-selector)를 도입한다.
• 학습 안정성을 향상시키고 레이어 간 기울기 소실 또는 폭발을 방지하기 위해 홉정규화를 적용한다.
• 잔차 연결이나 복잡한 정규화 없이, 학습 가능한 스칼라 가중치와 ReLU 활성화 함수를 사용한 이중층 아키텍처를 사용한다.
• 다른 홉에서 유래한 특성 중에서 가장 관련성이 높은 특성을 학습할 수 있도록 고유한 특성 매핑 전략을 구현한다.
• 학습은 그리드 서치를 통해 학습률, 가중치 감소, 드롭아웃 등의 하이퍼파라미터를 최적화한 Adam 옵timizer를 사용한다.

실험 결과

연구 질문

• RQ1 얕고 단순한 GNN 아키텍처가 노드 분류에서 더 깊고 복잡한 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 여러 홉에 걸친 특성 중요도를 효과적으로 모델링하고 해석할 수 있는가?
• RQ3 특성 집합과 표현 학습을 분리함으로써 모델 성능과 일반화 능력이 향상되는가?
• RQ4 제안된 모델이 동질성과 이질성 그래프 데이터셋 모두에서 높은 성능을 유지할 수 있는가?
• RQ5 ogbn-papers100M와 같이 수십억 개의 간선을 가진 매우 큰 그래프에서도 모델이 확장 가능한가?

주요 결과

• FSGNN은 Cora 데이터셋에서 테스트 정확도 67.17%를 달성하여 SGC(63.29%), Node2Vec(58.07%), SIGN(65.11%)을 초월했으며, 이는 이전 최고 기술 대비 64% 향상된 성능이다.
• 3, 8, 16, 32개의 홉 수에 관계없이 일관된 성능을 유지함으로써, 효과적인 소프트선택 덕분에 집합 깊이에 대해 강건함을 입증했다.
• ogbn-papers100M 데이터셋에서 FSGNN은 이전의 모든 최고 기술 모델보다 높은 정확도를 기록하여 대규모 그래프로의 확장성을 입증했다.
• 학습된 소프트선택 가중치 분석 결과, Chameleon 및 Squirrel 데이터셋은 이전에 낮은 품질의 이질성으로 여겨졌던 것과는 달리 강한 이질성을 보였으며, 이는 기존 가정과 반대되는 결과였다.
• 화이트맵 수가 증가함에 따라 성능 저하가 최소한으로 발생함을 확인하여, 소프트어텐션 메커니즘이 노이즈가 많거나 관련성이 없는 장거리 특성을 효과적으로 억제함을 확인했다.
• 제거 실험 결과, 소프트선택과 홉정규화가 모두 필수적인 구성 요소임을 입증했으며, 이들의 제거로 인해 성능이 심각하게 저하됨을 확인했다.