[논문 리뷰] How Universal Polynomial Bases Enhance Spectral Graph Neural Networks: Heterophily, Over-smoothing, and Over-squashing

Keke Huang, Yu Guang Wang외 2명|arXiv (Cornell University)|2024. 05. 21.

Computational Drug Discovery Methods인용 수 7

한 줄 요약

이 논문은 UniBasis와 UniFilter를 도입한다. 적응적 이질성(heterophily)과 전통적 동질성(homophily) 기반을 결합한 보편 다항식 기반으로 다양한 이질성 수준에서 스펙트럴 GNN의 성능을 향상시키고, 과도한 스무딩과 과도한 스퀴싱을 완화한다.

ABSTRACT

Spectral Graph Neural Networks (GNNs), alternatively known as graph filters, have gained increasing prevalence for heterophily graphs. Optimal graph filters rely on Laplacian eigendecomposition for Fourier transform. In an attempt to avert prohibitive computations, numerous polynomial filters have been proposed. However, polynomials in the majority of these filters are predefined and remain fixed across different graphs, failing to accommodate the varying degrees of heterophily. Addressing this gap, we demystify the intrinsic correlation between the spectral property of desired polynomial bases and the heterophily degrees via thorough theoretical analyses. Subsequently, we develop a novel adaptive heterophily basis wherein the basis vectors mutually form angles reflecting the heterophily degree of the graph. We integrate this heterophily basis with the homophily basis to construct a universal polynomial basis UniBasis, which devises a polynomial filter based graph neural network - UniFilter. It optimizes the convolution and propagation in GNN, thus effectively limiting over-smoothing and alleviating over-squashing. Our extensive experiments, conducted on a diverse range of real-world and synthetic datasets with varying degrees of heterophily, support the superiority of UniFilter. These results not only demonstrate the universality of UniBasis but also highlight its proficiency in graph explanation.

연구 동기 및 목표

• 스펙트럴 그래프 필터가 그래프 이질성 정도에 어떻게 맞추어져야 하는지 규명하다.
• 적응형 이질성 기반을 개발하여 동질성 기반과 함께 보편 다항식 기반(UniBasis)을 형성한다.
• 다양한 이질성 수준에서 과도한 스무딩과 과도한 스퀴싱을 완화하는 일반 그래프 필터(UniFilter)를 만든다.
• 스펙트럴 특성에 대한 설명을 포함하여 UniBasis/UniFilter의 이론적 및 실증적 검증을 제공한다.

제안 방법

• 스펙트럴 그래프 필터를 정의하고 Theorem 3.1을 통해 필터 주파수를 그래프 이질성에 연결한다.
• 매개변수 tau로 제어되는 적응형 이질성 기반과 전통적 동질성 기반을 결합하여 UniBasis를 구성한다.
• UniFilter를 UniBasis 구성요소의 가중합으로 형성하고, 분류를 위한 MLP를 뒤따르게 한다.
• (i) 동질성 기반 수렴이 과도한 스무딩으로 이어짐을 보이는 성질(정리 4.1), (ii) h와 연동된 각도 theta를 갖는 이질성 기반 설계(정리 4.2, 알고리즘 1, 정리 4.3), (iii) UniFilter가 과도한 스무딩을 방지하는 성질(정리 5.2)과 과도한 스퀴싱을 완화하는 성질(정리 5.3)
• 기초 구성에 대해 O(K(m+n))의 복잡도 분석을 제시한다.
• 학습된 스펙트럼과 가중치를 검사하여 그래프 설명 가능성을 UniBasis가 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 그래프 이질성 정도에 대해 다항식 기반이 어떻게 적응해야 하는가?
• RQ2 동질성 및 적응형 이질성 기반을 결합한 보편 다항식 기반이 동질성 그래프와 이질성 그래프 모두에서 성능을 향상시키는가?
• RQ3 제안된 UniFilter가 과도한 스무딩과 과도한 스퀴싱을 완화하면서 스펙트럴 설명가능성을 제공하는가?
• RQ4 다양한 데이터셋에서 다항식 필터 및 모델 최적화 기반 베이스라인에 비해 UniFilter의 성능은 어느 정도인가?

주요 결과

• UniFilter는 대부분의 데이터셋에서 최고 정확도를 달성하며, 동질성 그래프와 이질성 그래프 모두에 대해 우수한 성능을 보인다.
• UniFilter는 20개의 베이스라인을 능가하며, Chameleon 및 Squirrel(이질성 데이터셋)에서 특히 큰 이익을 보인다.
• UniBasis 스펙트럼은 데이터셋 특유의 스펙트럴 특성을 드러내고 그래프 설명을 뒷받침한다.
• 이질성 기반은 벡터가 고르게 각진(theta = (1−h)π/2) 형태로 구성되어 주파수를 이질성과 정렬시키도록 설계되었다.
• 과도한 스무딩은 이론적으로 완화되며, UniFilter의 회전 가능 합성 행렬로 인해 과도한 스퀴싱도 완화된다.
• 이질성 기반 구성의 복잡도는 홉 수와 그래프 크기에 선형적으로 의존하여 O(K(m+n))이다.