[논문 리뷰] A Fractional Graph Laplacian Approach to Oversmoothing

Sohir Maskey, Raffaele Paolino외 2명|arXiv (Cornell University)|2023. 05. 22.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 방향성 있는 그래프와 무방향 그래프 양쪽에서 과도한 스무딩을 완화하기 위해 방향성 그래프에 대해 대칭 정규화된 방향성 라플라시안을 사용하여 딜레르트 에너지를 일반화함으로써 분수 그래프 라플라시안 신경 ODE 프레임워크를 제안한다. 이 방법은 낮은 장거리 이동 확률을 유지하면서 장거리 정보 전파를 가능하게 하며, 다양한 동질성 수준에서 광범위한 실험을 통해 개선된 강인성을 보여준다.

ABSTRACT

Graph neural networks (GNNs) have shown state-of-the-art performances in various applications. However, GNNs often struggle to capture long-range dependencies in graphs due to oversmoothing. In this paper, we generalize the concept of oversmoothing from undirected to directed graphs. To this aim, we extend the notion of Dirichlet energy by considering a directed symmetrically normalized Laplacian. As vanilla graph convolutional networks are prone to oversmooth, we adopt a neural graph ODE framework. Specifically, we propose fractional graph Laplacian neural ODEs, which describe non-local dynamics. We prove that our approach allows propagating information between distant nodes while maintaining a low probability of long-distance jumps. Moreover, we show that our method is more flexible with respect to the convergence of the graph's Dirichlet energy, thereby mitigating oversmoothing. We conduct extensive experiments on synthetic and real-world graphs, both directed and undirected, demonstrating our method's versatility across diverse graph homophily levels. Our code is available at https://github.com/RPaolino/fLode .

연구 동기 및 목표

• 그래프 신경망(GNN)이 과도한 스무딩으로 인해 장거리 의존성을 포착하는 데 어려움을 겪는 문제, 특히 방향성 그래프에서의 문제를 해결하기 위해.
• 대칭 정규화된 방향성 라플라시안을 사용하여 무방향 그래프에서의 딜레르트 에너지와 과도한 스무딩 개념을 방향성 그래프로 일반화하기 위해.
• 과도한 스무딩을 피하면서도 먼 노드 간 효과적인 정보 전파를 유지할 수 있는 융통성 있고 비국소적인 동적 프레임워크를 개발하기 위해.
• 실제 및 합성 그래프를 포함한 다양한 유형의 방향성 및 무방향 그래프에서 동질성 수준이 다양할 때에도 이 방법의 효과성을 입증하기 위해.

제안 방법

• 논문은 방향성 그래프에 대한 딜레르트 에너지의 일반화를 가능하게 하기 위해 방향성 대칭 정규화 라플라시안을 도입하여 스무딩과 과도한 스무딩의 이론적 분석을 가능하게 한다.
• 노드의 동역학이 방향성 라플라시안의 분수 거듭제곱에 의해 지배되는 신경 그래프 ODE 프레임워크를 수립함으로써 비국소적이고 장거리 상호작용을 가능하게 한다.
• 표준 GCN에서 내재된 과도한 스무딩을 피하기 위해 연속적인 전파를 모델링하기 위해 분수 그래프 라플라시안 신경 ODE를 사용한다.
• 이론적 분석을 통해 장거리 이동의 확률이 낮게 유지되면서도 딜레르트 에너지 수렴이 보장되어 과도한 스무딩이 완화됨을 입증한다.
• 특히 이질적 및 깊은 그래프 설정에서 딜레르트 에너지 수렴 처리에 있어 표준 GCN보다 더 유연한 프레임워크임을 입증한다.

실험 결과

연구 질문

• RQ1 과도한 스무딩 개념을 무방향 그래프에서 방향성 그래프로 일반화할 수 있는가?
• RQ2 분수 그래프 라플라시안 프레임워크는 방향성 그래프에서 과도한 스무딩을 효과적으로 완화하면서 장거리 의존성을 유지할 수 있는가?
• RQ3 제안된 신경 ODE 기반 접근법은 표준 GCN과 비교해 딜레르트 에너지 수렴 및 특징 스무딩 측면에서 어떻게 성능을 발휘하는가?
• RQ4 제안된 방법은 방향성 및 무방향 그래프에서 다양한 동질성 수준에서 노드 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 분수 그래프 라플라시안 신경 ODE 프레임워크는 장거리 이동 확률을 낮게 유지함으로써 방향성 및 무방향 그래프에서 과도한 스무딩을 성공적으로 완화한다.
• 방향성 라플라시안의 분수 거듭제곱을 활용한 비국소적 동역학을 통해 효과적인 장거리 정보 전파가 가능해진다.
• 이론적 분석을 통해 표준 GCN가 고정점 수렴으로 인해 특징이 붕괴되는 것과는 달리, 이 방법은 딜레르트 에너지 수렴을 보장함으로써 과도한 스무딩을 방지함을 확인한다.
• 합성 및 실제 세계 그래프에서의 실증 결과는 동질성 수준이 다양할 때에도 일관된 성능 향상이 나타나며, 특히 표준 GNN이 실패하는 이질적 환경에서도 성능 향상을 보여준다.