[논문 리뷰] Adaptive Graph Diffusion Networks

Chuxiong Sun, Jie Hu외 3명|arXiv (Cornell University)|2020. 12. 30.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 다중 힙 메시지 전파를 통해 학습 가능한 적응형 가중치를 사용하여 노드 표현을 계층 간에 조정하는 새로운 GNN 아키텍처인 적응형 그래프 확산 네트워크(AGDNs)를 제안한다. AGDNs는 RevGNN 및 SEAL과 같은 SOTA 모델에 비해 훨씬 감소된 훈련 및 추론 런타임을 기록하면서도 여러 OGB 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have received much attention in the graph deep learning domain. However, recent research empirically and theoretically shows that deep GNNs suffer from over-fitting and over-smoothing problems. The usual solutions either cannot solve extensive runtime of deep GNNs or restrict graph convolution in the same feature space. We propose the Adaptive Graph Diffusion Networks (AGDNs) which perform multi-layer generalized graph diffusion in different feature spaces with moderate complexity and runtime. Standard graph diffusion methods combine large and dense powers of the transition matrix with predefined weighting coefficients. Instead, AGDNs combine smaller multi-hop node representations with learnable and generalized weighting coefficients. We propose two scalable mechanisms of weighting coefficients to capture multi-hop information: Hop-wise Attention (HA) and Hop-wise Convolution (HC). We evaluate AGDNs on diverse, challenging Open Graph Benchmark (OGB) datasets with semi-supervised node classification and link prediction tasks. Until the date of submission (Aug 26, 2022), AGDNs achieve top-1 performance on the ogbn-arxiv, ogbn-proteins and ogbl-ddi datasets and top-3 performance on the ogbl-citation2 dataset. On the similar Tesla V100 GPU cards, AGDNs outperform Reversible GNNs (RevGNNs) with 13% complexity and 1% training runtime of RevGNNs on the ogbn-proteins dataset. AGDNs also achieve comparable performance to SEAL with 36% training and 0.2% inference runtime of SEAL on the ogbl-citation2 dataset.

연구 동기 및 목표

• 그래프 컨볼루션과 특징 변환을 분리하여 깊은 그래프 신경망(GNNs)에서의 과도한 스무딩과 과적합 문제를 해결한다.
• 기존 그래프 확산 방법에서 고정된 사전 정의된 가중치 계수의 한계를 극복한다.
• 계산 복잡도와 런타임을 줄이면서도 높은 모델 용량을 유지하는 확장 가능한 효율적인 아키텍처를 개발한다.
• 다양한 특징 공간 간의 효과적인 다중 힙 정보 집합을 위한 적응 메커니즘을 통해 실현한다.
• 개선된 효율성과 함께 도전적인 오픈 그래프 벤치마크(OGB) 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 표준 GNN 레이어를 효율적인 그래프 확산 연산으로 대체하는 개선된 프레임워크인 그래프 확산 네트워크(GDNs)를 제안한다.
• 다중 힙 표현을 위한 적응형 가중치 계수를 계산하기 위해 학습 가능한 확장 가능한 두 가지 메커니즘인 힙 단위 어텐션(HA)과 힙 단위 컨볼루션(HC)을 도입한다.
• 다양한 레이어를 거쳐 일반화된 그래프 확산을 수행하며, 큰 밀집 전이 행렬의 거듭제곱 대신 작은 다중 힙 노드 표현과 학습 가능한 계수를 조합한다.
• 그래프 컨볼루션과 특징 변환을 분리하여 중복되는 변환을 줄이고 과적합을 완화한다.
• 다중 힙 표현의 반복적 계산을 통해 명시적인 큰 확산 행렬 저장을 피함으로써 메모리 효율성을 향상시킨다.
• 기존 기법들인 이웃 샘플링과 잔여 연결과의 호환성을 확보하기 위해 AGDN 아키텍처를 표준 GNN 훈련 파ip라인에 통합한다.

실험 결과

연구 질문

• RQ1 고정 계수 그래프 확산에 비해 다중 힙 노드 표현에 대한 학습 가능한 적응형 가중치가 그래프 표현 학습 작업의 성능 향상에 기여하는가?
• RQ2 그래프 컨볼루션과 특징 변환을 분리함으로써 깊은 GNN에서의 과적합과 과도한 스무딩을 줄일 수 있으며, 모델 용량을 손상시키지 않을까?
• RQ3 AGDNs는 RevGNN 및 SEAL과 같은 SOTA 모델에 비해 훨씬 낮은 훈련 및 추론 런타임을 유지하면서도 OGB 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 AGDNs는 특히 subgraph 기반 방법인 SEAL과 비교했을 때 링크 예측 작업에서 어떻게 성능을 내는가?
• RQ5 제안된 적응 메커니즘(HA 및 HC)이 다양한 그래프 구조에서 장거리 의존성을 포착하는 데 모델 능력에 얼마나 기여하는가?

주요 결과

• 2022년 8월 26일 기준으로 OGB 벤치마크에서 ogbn-arxiv, ogbn-proteins, ogbl-ddi 데이터셋에서 AGDNs가 최고 성능을 기록했다.
• ogbn-proteins에서 AGDN은 동일한 Tesla V100 GPU에서 RevGNN 대비 13% 낮은 모델 복잡도와 오직 1%의 훈련 런타임을 기록했다.
• ogbl-citation2에서 AGDN은 훈련 시간이 36% 감소했고, 추론 시간은 단지 0.2%에 불과했으며, 상위 3위 성능을 기록했다.
• ogbl-ddi에서 AGDN은 AUC 손실을 사용해 Hits@20가 95.38%를 기록하며 공식 랭킹에서 새로운 최고 기록을 수립했다.
• GPU 메모리 제약으로 인해 이웃 샘플링을 사용함에도 불구하고, AGDN은 ogbl-citation2에서 전면 배치 GCN, GraphSAGE, PLNLP를 모두 능가했다.
• 제거 실험을 통해 AGDN이 GAT의 링크 예측 성능을 크게 향상시켜, 그 적응 메커니즘의 효과를 입증했다.