[논문 리뷰] NAFS: A Simple yet Tough-to-beat Baseline for Graph Representation Learning

Wentao Zhang, Zeang Sheng외 5명|arXiv (Cornell University)|2022. 06. 17.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

NAFS는 노드 적응형 특징 스무딩과 다중 이웃 힙스를 통한 특징 앙상블을 통해 노드 임베딩을 향상시키는 학습 불필요, 비모수적 그래프 표현 학습 방법이다. 깊은 GNN에서의 과도한 스무딩과 확장성 문제를 효과적으로 완화하면서도 노드 클러스터링 및 링크 예측에서 최신 SOTA GNN보다 뛰어난 성능을 보이며, 훈련 속도가 최대 88.6배 빠르다.

ABSTRACT

Recently, graph neural networks (GNNs) have shown prominent performance in graph representation learning by leveraging knowledge from both graph structure and node features. However, most of them have two major limitations. First, GNNs can learn higher-order structural information by stacking more layers but can not deal with large depth due to the over-smoothing issue. Second, it is not easy to apply these methods on large graphs due to the expensive computation cost and high memory usage. In this paper, we present node-adaptive feature smoothing (NAFS), a simple non-parametric method that constructs node representations without parameter learning. NAFS first extracts the features of each node with its neighbors of different hops by feature smoothing, and then adaptively combines the smoothed features. Besides, the constructed node representation can further be enhanced by the ensemble of smoothed features extracted via different smoothing strategies. We conduct experiments on four benchmark datasets on two different application scenarios: node clustering and link prediction. Remarkably, NAFS with feature ensemble outperforms the state-of-the-art GNNs on these tasks and mitigates the aforementioned two limitations of most learning-based GNN counterparts.

연구 동기 및 목표

• 깊은 GNN에서의 과도한 스무딩과 확장성 문제의 한계를 해결하기 위해 그래프 표현 학습에서의 영향을 분석한다.
• 단순한 비모수적 특징 스무딩이 복잡한 학습 가능한 GNN 아키텍처를 능가할 수 있는지 탐구한다.
• 학습 없이도 구조적 정보와 특징 정보를 통합할 수 있는 확장성 있고 효율적인 기준 모델을 개발한다.
• 종합적인 GNN이 아닌, 효과적인 그래프 표현 학습에 대한 새로운 해석 가능한 시각을 제공한다.

제안 방법

• NAFS는 정규화된 인접행렬의 거듭제곱을 사용하여 점점 증가하는 이웃 힙스에서의 노드 특징을 집계함으로써 특징 스무딩을 수행한다.
• 각 노드의 국소적 구조적 특성에 따라 동적으로 조정되는 노드 적응형 가중치를 적용하여 다양한 힙스에서 스무딩된 특징을 조합한다.
• 다양한 스무딩 전략 간의 특징 앙상블(평균, 최대값, 연결)을 통해 표현의 다양성을 향상시킨다.
• 완전히 매개변수 학습을 회피함으로써 학습 불필요하고 대규모 그래프에 매우 효율적인 방법이다.
• 최종 노드 임베딩은 다중 힙스 스무딩 특징을 적응적으로 조합하여 과도한 스무딩 위험을 줄인다.
• 안정적이고 확장 가능한 스무딩 연산을 위해 정규화된 인접행렬 $\hat{\mathbf{A}} = \mathbf{D}^{-1/2}\mathbf{A}\mathbf{D}^{-1/2}$ 를 활용한다.

실험 결과

연구 질문

• RQ1 비모수적이고 학습이 불필요한 특징 스무딩 방법이 그래프 표현 학습에서 최신 학습 가능한 GNN보다 뛰어날 수 있는가?
• RQ2 다중 힙스 스무딩 특징에 대한 노드 적응형 가중치 전략이 균일하거나 단일 힙스 전략보다 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ3 다양한 스무딩 연산자 간의 특징 앙상블이 표현 품질 향상에 어느 정도 기여하는가?
• RQ4 NAFS는 깊은 그래프 표현에서 과도한 스무딩 문제를 효과적으로 완화하는가?
• RQ5 제한된 메모리와 계산 자원이 있는 대규모 그래프에서 NAFS는 GNN과 비교해 어떻게 확장되는가?

주요 결과

• PubMed에서 노드 클러스터링 성능 평가 시 NAFS는 GAE와 AGE보다 NMI 기준 각각 9.0%, 3.8% 높은 성능을 기록했다.
• PubMed에서 NAFS는 GAE와 AGE 대비 각각 최대 65.4배, 88.6배의 훈련 속도 향상을 달성했다.
• ogbn-products에서 NAFS는 10만 개 노드까지 확장 가능하며 인퍼런스 시간이 23.7초였고, GAE와 AGE는 OOM 오류로 3만 개 노드를 초과해 훈련에 실패했다.
• NAFS의 적응형 가중치 전략은 단순 평균화나 단일 힙스 방법과 달리 고도의 스무딩 단계에서도 과도한 스무딩을 방지한다.
• T-SNE 시각화 결과 NAFS는 200개의 스무딩 힙스에서도 클래스 간 분리성이 유지되는 반면, 기준 모델 $\hat{\mathbf{A}}^k\mathbf{X}$ 는 완전히 혼란스러운 상태가 된다.
• 특징 앙상블(평균, 최대값, 연결)은 다양한 데이터셋에서 일관되게 성능 향상을 이끌었으며, 특정 전략이 항상 우세한 것은 아니었다.