[논문 리뷰] ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization

Langzhang Liang, Zenglin Xu외 4명|arXiv (Cornell University)|2022. 06. 16.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

ResNorm는 노드 차수 분포가 길게 펴져 있는 그래프 신경망(GNN)에 적합한 새로운 정규화 방법으로, 노드별 표준편차(NStd) 분포를 스케일 연산자와 맞춤형 노드별 이동 연산자를 통해 재형성함으로써 성능 격차를 줄이고 과도한 스무딩을 완화한다. 이는 다양한 GNN 백본과 벤치마크에서 뚜렷한 정확도 향상을 이끌어내며, 향후 성능이 떨어지는 노드의 성능 향상에도 기여한다.

ABSTRACT

Graph Neural Networks (GNNs) have attracted much attention due to their ability in learning representations from graph-structured data. Despite the successful applications of GNNs in many domains, the optimization of GNNs is less well studied, and the performance on node classification heavily suffers from the long-tailed node degree distribution. This paper focuses on improving the performance of GNNs via normalization. In detail, by studying the long-tailed distribution of node degrees in the graph, we propose a novel normalization method for GNNs, which is termed ResNorm ( extbf{Res}haping the long-tailed distribution into a normal-like distribution via extbf{norm}alization). The $scale$ operation of ResNorm reshapes the node-wise standard deviation (NStd) distribution so as to improve the accuracy of tail nodes ( extit{i}. extit{e}., low-degree nodes). We provide a theoretical interpretation and empirical evidence for understanding the mechanism of the above $scale$. In addition to the long-tailed distribution issue, over-smoothing is also a fundamental issue plaguing the community. To this end, we analyze the behavior of the standard shift and prove that the standard shift serves as a preconditioner on the weight matrix, increasing the risk of over-smoothing. With the over-smoothing issue in mind, we design a $shift$ operation for ResNorm that simulates the degree-specific parameter strategy in a low-cost manner. Extensive experiments have validated the effectiveness of ResNorm on several node classification benchmark datasets.

연구 동기 및 목표

• 노드 차수 분포가 길게 펴져 있는 상황에서 저차수(테일) 노드가 지속적으로 성능이 열등한 문제를 해결하기 위해.
• 그래프 구조를 수정하거나 복잡한 아키텍처 변경 없이도 테일 노드의 분류 정확도를 향상시키기 위해.
• 기존 GNN 아키텍처에 쉽게 통합할 수 있는 경량이며 일반적인 정규화 모듈을 설계하기 위해.
• 깊은 GNN에서 표준 이동 연산자가 악화시키는 과도한 스무딩 문제를 차수 인식 이동 메커니즘을 통해 완화하기 위해.
• 다양한 GNN 모델과 노드 분류 벤치마크에서 제안된 정규화 방법의 효과를 검증하기 위해.

제안 방법

• ResNorm는 노드별 표준편차(NStd) 분포를 재형성함으로써 헤드 노드와 테일 노드 간 격차를 줄이는 스케일 연산자를 도입한다. 이는 암묵적으로 노드 차수 분포를 정규화한다.
• 스케일 연산자는 影响 분포 분석에 기반하여, 저차수 노드의 표현 다양성 향상과 일반화 능력 향상에 기여함을 설명한다.
• 표준 이동 연산자를 대체하기 위해 새로운 노드별 이동 연산자를 설계하여, 특성값을 축소시키는 전제 조건 효과를 방지하고 과도한 스무딩 위험을 줄인다.
• 노드별 이동 연산자는 저비용으로 차수에 따라 다른 파라미터 전략을 시뮬레이션함으로써, 모델 표현력은 유지하면서 학습 안정성을 확보한다.
• ResNorm는 GCN, APPNP, DeepGCN, GCNII 등 다양한 GNN 백본과 호환되는 플러그 앤 플레이 모듈로, 각 GNN 레이어 후에 적용된다.
• 표준 노드 분류 벤치마크(Cora, Citeseer, PubMed, Coauthor-CS, Amazon-Photo)를 사용하여, 다양한 모델 깊이와 설정에서 평가가 수행되었다.

실험 결과

연구 질문

• RQ1 길게 펴진 노드 차수 분포가 GNN의 성능에 미치는 영향은 무엇이며, 특히 테일 노드에 어떤 영향을 미치는가?
• RQ2 NStd 분포를 재형성하는 정규화 기법이 아키텍처 수정 없이 저차수 노드의 분류 정확도를 향상시킬 수 있는가?
• RQ3 정규화에서 표준 이동 연산자가 깊은 GNN에서 과도한 스무딩을 악화시키는 이유는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 ResNorm는 다양한 GNN 아키텍처와 데이터셋에서 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ5 ResNorm처럼 경량이고 일반적인 정규화 모듈이 최신의 깊은 GNN에 효과적으로 적용되어 테일 노드와 전체 성능을 모두 향상시킬 수 있는가?

주요 결과

• GCN+PairNorm에 ResNorm를 적용했을 때 Cora에서 테스트 정확도가 32.5% 향상되어 기준 모델을 크게 앞서 간다.
• Citeseer에서는 ResNorm+GCN+PairNorm가 기준 모델 대비 90.0% 향상되어 도전적인 길게 펴진 데이터셋에서 뚜렷한 성과를 보였다.
• ResNorm+APPNP는 APPNP 자체 대비 3.1% 향상되어, 원래 정규화를 고려하지 않은 모델에서도 효과가 있음을 입증했다.
• 제거 실험 결과, 표준 이동 연산자는 과도한 스무딩 위험을 증가시키는 반면, ResNorm의 노드별 이동 연산자는 깊은 아키텍처에서도 성능을 유지함을 확인했다.
• DeepGCN과 GCNII와 같은 깊은 GNN에서 ResNorm는 테일 노드와 전체 정확도 모두 일관되게 향상시키며, 다양한 모델 패밀리에 대한 일반화 능력을 입증했다.
• 스케일 연산자는 NStd 분포를 효과적으로 재형성하며, 이는 저분산(테일) 노드의 분류 정확도 향상과 상관관계가 있음을 보여준다.