[논문 리뷰] From Local to Global: Spectral-Inspired Graph Neural Networks

Ningyuan Huang, Soledad Villar외 5명|arXiv (Cornell University)|2022. 09. 24.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 메시지 전파 그래프 신경망(MPNN)을 위한 스펙트럼 기반의 정규화 기법인 PowerEmbed을 제안한다. 이 기법은 그래프 연산자의 상위-k 고유벡터를 표현할 수 있게 하여 전역 스펙트럼 정보를 포착하면서도 과도한 스무딩과 과도한 압축을 방지한다. 인셉션 스타일 아키텍처에 PowerEmbed를 통합함으로써, 계산 복잡도를 증가시키지 않으면서도 동일한 성능을 달성하며, 특히 장거리 의존성 학습에서 뛰어난 성능을 발휘한다.

ABSTRACT

Graph Neural Networks (GNNs) are powerful deep learning methods for Non-Euclidean data. Popular GNNs are message-passing algorithms (MPNNs) that aggregate and combine signals in a local graph neighborhood. However, shallow MPNNs tend to miss long-range signals and perform poorly on some heterophilous graphs, while deep MPNNs can suffer from issues like over-smoothing or over-squashing. To mitigate such issues, existing works typically borrow normalization techniques from training neural networks on Euclidean data or modify the graph structures. Yet these approaches are not well-understood theoretically and could increase the overall computational complexity. In this work, we draw inspirations from spectral graph embedding and propose $ exttt{PowerEmbed}$ -- a simple layer-wise normalization technique to boost MPNNs. We show $ exttt{PowerEmbed}$ can provably express the top-$k$ leading eigenvectors of the graph operator, which prevents over-smoothing and is agnostic to the graph topology; meanwhile, it produces a list of representations ranging from local features to global signals, which avoids over-squashing. We apply $ exttt{PowerEmbed}$ in a wide range of simulated and real graphs and demonstrate its competitive performance, particularly for heterophilous graphs.

연구 동기 및 목표

• 얕은 및 깊은 MPNN의 한계, 즉 장거리 신호를 누락하거나 과도한 스무딩 또는 과도한 압축에 노출되는 문제를 해결하기 위해.
• 이론적으로 타당하고 계산적으로 효율적인 방식으로 지역 MPNN에 전역 스펙트럼 정보를 통합하기 위해.
• 그래프 구조에 종속되지 않는 정규화 기법을 개발하여 모델이 그래프 연산자의 상위-k 고유벡터를 표현할 수 있도록 하기 위해.
• 기존 MPNN이 성능을 낮추는 이질적 그래프에서의 성능 향상을 위해.
• 지역 메시지 전파와 전역 스펙트럼 표현 간의 간극을 메우는 단순하면서도 강력한 방법을 제공하기 위해.

제안 방법

• 그래프 연산자의 상위-k 고유벡터를 근사화할 수 있도록, 각 층에서 노드 표현을 그들의 은닉 상태의 l2-노름의 역수로 스케일링하는 레이어별 정규화 단계인 PowerEmbed을 제안한다.
• 다양한 층의 특징을 통합하여 국소적 및 전역적 표현 간의 보간을 허용하는 다중 척도 인셉션 스타일 아키텍처에 PowerEmbed를 통합한다.
• 정규화된 표현을 사용하여 국소적 이웃 신호와 전역 스펙트럼 구조를 모두 유지함으로써 과도한 스무딩과 과도한 압축을 방지한다.
• 스토케스틱 블록 모델 및 Cora, Citeseer, Photo와 같은 벤치마크 데이터셋을 포함한 합성 및 실세계 그래프에 이 방법을 적용한다.
• 이론적으로 PowerEmbed가 그래프 구조에 관계없이 그래프 연산자의 상위-k 주요 고유벡터를 확실히 표현할 수 있음을 보여준다.
• 스펙트럼 분해의 통찰을 바탕으로, 그래프 구조에 불변이며 이질적 및 동질적 환경 모두에서 강건한 정규화를 설계한다.

실험 결과

연구 질문

• RQ1 MPNN에서 단순한 정규화 기법이 그래프 연산자의 상위-k 고유벡터를 표현할 수 있는가?
• RQ2 PowerEmbed를 통해 전역 스펙트럼 정보를 통합하면, 기존 MPNN이 성능을 낮추는 이질적 그래프에서 성능 향상이 이루어지는가?
• RQ3 PowerEmbed는 계산 복잡도를 증가시키지 않으면서도 깊은 GNN에서 과도한 스무딩과 과도한 압축을 방지할 수 있는가?
• RQ4 인셉션 스타일 아키텍처를 통해 국소 메시지 전파와 전역 스펙트럼 정보를 조합하면 표현 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 희박하고 조밀한 그래프를 포함한 다양한 그래프 구조에 대해 강건한가?

주요 결과

• PowerEmbed는 MPNN이 그래프 연산자의 상위-k 주요 고유벡터를 이론적으로 확실히 표현할 수 있도록 하여 전역 구조를 포착하는 데 이론적 기반을 제공한다.
• Cora와 Citeseer와 같은 동질적 그래프에서 PowerEmbed는 경쟁적인 정확도를 달성한다: 각각 81.69% ± 0.50 및 69.67% ± 0.63로, 베이스라인 MPNN 및 ASE, Cov(X)와 같은 스펙트럼 기반 베이스라인을 능가한다.
• 이질적 그래프인 Photo 및 Computers 데이터셋에서 PowerEmbed는 10회 반복 시 각각 93.84% ± 0.17 및 90.34% ± 0.22의 정확도를 기록하여 표준 GCN 및 GAT보다 뚜렷이 뛰어나다.
• 인셉션 기반 변형(SGC(Incep)-10)은 Photo에서 94.65% ± 0.18, Computers에서 90.61% ± 0.16의 정확도를 달성하여 국소 및 전역 신호의 조합이 효과적임을 입증한다.
• 랜덤 워크 또는 라플라시안 정규화를 사용한 PowerEmbed(Power(RW)-10, Power(Lap)-10)는 모든 데이터셋에서 표준 MPNN 및 기존 GNN 베이스라인보다 성능 향상을 지속적으로 보였다.
• 이 방법은 계산적으로 효율적이며, 정규화 단계 외에 아키텍처 수정이 필요 없어 기존 GNN 프레임워크에 쉽게 통합할 수 있다.