[논문 리뷰] Node Dependent Local Smoothing for Scalable Graph Learning

Wentao Zhang, Mingyu Yang외 6명|arXiv (Cornell University)|2021. 10. 27.

Advanced Graph Neural Networks참고 문헌 38인용 수 13

한 줄 요약

이 논문은 각 노드의 국소 구조와 영향력 점수를 기반으로 고유한 스무딩 반복 횟수를 할당하는 확장 가능한 그래프 학습 방법인 노드 종속 국소 스무딩(NDLS)을 제안한다. 이는 적응형 특성 및 레이블 스무딩을 가능하게 하며, 노드 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하면서도 높은 학습 효율성과 확장성을 유지한다. 대규모 그래프에서 APPNP 및 GAT과 같은 기존 방법보다 정확도 1.0%~2.4% 높고, 최대 186배 빠른 학습 속도를 기록한다.

ABSTRACT

Recent works reveal that feature or label smoothing lies at the core of Graph Neural Networks (GNNs). Concretely, they show feature smoothing combined with simple linear regression achieves comparable performance with the carefully designed GNNs, and a simple MLP model with label smoothing of its prediction can outperform the vanilla GCN. Though an interesting finding, smoothing has not been well understood, especially regarding how to control the extent of smoothness. Intuitively, too small or too large smoothing iterations may cause under-smoothing or over-smoothing and can lead to sub-optimal performance. Moreover, the extent of smoothness is node-specific, depending on its degree and local structure. To this end, we propose a novel algorithm called node-dependent local smoothing (NDLS), which aims to control the smoothness of every node by setting a node-specific smoothing iteration. Specifically, NDLS computes influence scores based on the adjacency matrix and selects the iteration number by setting a threshold on the scores. Once selected, the iteration number can be applied to both feature smoothing and label smoothing. Experimental results demonstrate that NDLS enjoys high accuracy -- state-of-the-art performance on node classifications tasks, flexibility -- can be incorporated with any models, scalability and efficiency -- can support large scale graphs with fast training.

연구 동기 및 목표

• 기존 GNN에서 고정된 스무딩 반복 횟수의 한계를 해결하여, 노드 간 국소 구조적 차이를 고려하지 못하는 문제를 해결한다.
• 국소 그래프 구조에 기반해 각 노드의 특성 및 레이블 스무딩 정도를 적응적으로 제어할 수 있는 방법을 개발한다.
• 모델 복잡도를 증가시키지 않고도 대규모 그래프 학습에서 모델 성능, 확장성, 효율성을 향상시킨다.
• 그래프 구조 사용을 사전 및 사후 처리 단계로 분리함으로써, 어떤 후속 모델과도 호환 가능하도록 한다.

제안 방법

• NDLS는 인접 행렬을 기반으로 각 노드의 영향력 점수를 계산하여, 다른 노드가 해당 노드에 미치는 영향을 정량화한다.
• 무한 반복(과도한 스무딩) 상태에서의 점수에 대해 ε 이내로 도달하는 최소 반복 횟수를 계산하여, 노드별 국소 스무딩 반복 횟수(LSI)를 결정한다.
• LSI는 특성 및 레이블 스무딩에 대한 이웃 범위를 제한하는 데 사용되어, 각 노드가 관련 있는 이웃들로부터만 정보를 집계하도록 보장한다.
• 특성 스무딩은 NDLS-F를 사용해 사전 처리 단계에서 수행되며, 이후 어떤 모델(예: MLP, SGC)을 사용해 스무딩된 특성으로 학습한다.
• 레이블 스무딩은 NDLS-L을 사용해 사후 처리 단계에서 수행되어 예측의 강건성을 향상시킨다.
• 이 방법은 모델 학습에서 그래프 구조 사용을 분리함으로써, 독립된 샘플을 가진 일반적인 머신러닝 문제로 그래프 학습을 전환한다.

실험 결과

연구 질문

• RQ1 노드별 국소 구조에 맞춰 스무딩 반복 횟수를 적응적으로 조절할 수 있는 방법은 무엇인가? 이는 과소 또는 과도한 스무딩을 방지할 수 있는가?
• RQ2 노드 종속 스무딩에 기반한 단순하고 확장 가능한 방법이 복잡한 학습 가능한 GNN보다 정확도와 효율성 면에서 뛰어나게 성능을 낼 수 있는가?
• RQ3 기존 선형 모델 기반 GNN과 비교해, 그래프 희소성(특성, 간선, 레이블) 상황에서 NDLS는 어떻게 성능을 발휘하는가?
• RQ4 노드의 차수와 최적의 스무딩 반복 횟수 사이의 관계는 무엇이며, 이는 이론적 기대와 일치하는가?

주요 결과

• NDLS는 모든 일곱 개인 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성했으며, APPNP와 GAT에 비해 각각 1.0%~1.9% 및 0.9%~2.4% 높은 테스트 정확도를 기록했다.
• ogbn-papers100M 데이터셋에서 NDLS는 연산이 결합된 GNN보다 최대 39배, GAT보다 최대 186배 더 빠른 학습 속도를 기록하면서도 높은 정확도를 확보했다.
• NDLS는 그래프 희소성에 대해 강건함을 입증했다: 특성, 간선, 레이블 희소성의 다양한 수준에서 기준선을 크게 앞서는 성능을 보였다.
• LSI 값은 노드의 차수와 음의 상관관계를 보이며, 이는 이론적 기대와 일치함을 확인했다.
• 시각화 결과에 따르면, 밀도가 높은 영역에 위치하거나 고차수 노드 근처에 있는 노드들은 낮은 LSI를 가지며, 국소 연결성에 기반한 적응형 스무딩이 이루어지고 있음을 나타낸다.
• 특성 또는 간선 일부가 손실된 상황에서도 NDLS는 높은 성능을 유지하여, 데이터 부족 상황에서도 강력한 일반화 능력을 보였다.