[논문 리뷰] $p$-Laplacian Based Graph Neural Networks

Guoji Fu, Peilin Zhao외 1명|arXiv (Cornell University)|2021. 11. 14.

Advanced Graph Neural Networks참고 문헌 72인용 수 4

한 줄 요약

이 논문은 이산 정규화 프레임워크에서 유도된 p-라플라시안 기반 메시지 전파 메커니즘을 사용하는 p GNN을 제안한다. 이는 동형성과 이형성 그래프 양쪽에서 효과적인 학습을 가능하게 하며, 스펙트럼 도메인에서 저주수·고주수통과 필터로 작용한다. 메시지 전파 가중치를 적응적으로 학습하여 이형성 그래프 벤치마크에서 최신 기술을 초월하고 노이즈가 있는 간선에 대해서도 강건하다.

ABSTRACT

Graph neural networks (GNNs) have demonstrated superior performance for semi-supervised node classification on graphs, as a result of their ability to exploit node features and topological information simultaneously. However, most GNNs implicitly assume that the labels of nodes and their neighbors in a graph are the same or consistent, which does not hold in heterophilic graphs, where the labels of linked nodes are likely to differ. Hence, when the topology is non-informative for label prediction, ordinary GNNs may work significantly worse than simply applying multi-layer perceptrons (MLPs) on each node. To tackle the above problem, we propose a new $p$-Laplacian based GNN model, termed as $^p$GNN, whose message passing mechanism is derived from a discrete regularization framework and could be theoretically explained as an approximation of a polynomial graph filter defined on the spectral domain of $p$-Laplacians. The spectral analysis shows that the new message passing mechanism works simultaneously as low-pass and high-pass filters, thus making $^p$GNNs are effective on both homophilic and heterophilic graphs. Empirical studies on real-world and synthetic datasets validate our findings and demonstrate that $^p$GNNs significantly outperform several state-of-the-art GNN architectures on heterophilic benchmarks while achieving competitive performance on homophilic benchmarks. Moreover, $^p$GNNs can adaptively learn aggregation weights and are robust to noisy edges.

연구 동기 및 목표

• 기존 GNN 모델이 이형성 그래프에서 성능이 떨어지는 문제를 해결하기 위해.
• 비정보성 또는 노이즈가 많은 구조를 가진 그래프에서 표준 GNN 모델이 MLP 성능 이하로 떨어지는 문제를 개선하기 위해.
• 기존 2-라플라시안을 초월하는 일반화된 이론적 기반의 메시지 전파 메커니즘을 개발하기 위해.
• 사전에 그래프의 동형성 수준을 알지 못하더라도 동형성과 이형성 그래프 환경에서 모두 효과적으로 작동할 수 있도록 GNN을 설계하기 위해.

제안 방법

• 이산 정규화 프레임워크에서 유도된 p-라플라시안 기반 메시지 전파 메커니즘을 제안하며, p-라플라시안의 스펙트럼 도메인에서 다항식 그래프 필터를 근사한다.
• 메시지 전파 규칙은 p의 값에 따라 저주수·고주수통 필터로 작용하는 그래프 필터의 근사로 이론적으로 정당화된다.
• 노드 임베딩의 局부 변동을 그래프 기울기 노름으로 측정하여, 국소적 변동에 따라 적응형 집계 가중치를 도입함으로써 동적 필터링 동작을 가능하게 한다.
• p=2일 때 기존 모델인 SGC, APPNP, GPRGNN를 일반화하는 새로운 GNN 아키텍처인 p GNN을 설계한다.
• 스펙트럼 분석을 통해 p-라플라시안 필터가 노드 표현의 저주수 및 고주수 성분을 강조할 수 있음을 보여준다.
• 필터 동작을 제어하기 위해 학습 가능한 매개수 p를 도입하여, 모델이 그래프의 동형성 수준과 노이즈 특성에 자율적으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 p-라플라시안 기반 메시지 전파 메커니즘이 기존 GNN 모델이 실패하는 이형성 그래프에서 GNN 성능을 향상시킬 수 있는가?
• RQ2 p-라플라시안 메시지 전파 메커니즘은 스펙트럼적으로 어떻게 행동하며, 저주수·고주수통 필터로 작용하여 부드럽고 진동하는 패턴을 모두 유지할 수 있는가?
• RQ3 제안된 p GNN 모델은 특히 노이즈가 많거나 정보가 없는 구조에서 국소적 노드 임베딩 변동에 따라 적응적으로 집계 가중치를 학습하는가?
• RQ4 p GNN은 동형성 그래프에서 경쟁력 있는 성능을 달성할 수 있으며, 이형성 벤치마크에서 기존 모델보다 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ5 p GNN은 간선 노이즈에 대해 얼마나 강건한가? 그리고 구조가 정보가 없을 경우에도 성능을 유지하는가?

주요 결과

• p GNN은 Chameleon 및 Squirrel와 같은 이형성 벤치마크에서 GCN, GAT, GPRGNN을 초월하여 최신 기술 성능을 달성한다.
• Cora, CiteSeer, PubMed 등의 동형성 데이터셋에서 p GNN은 경쟁력 있는 성능을 기록하며, 2.0 GNN은 Physics에서 95.05%의 정확도를 달성하여 SGC 및 GCN와 동등하거나 이를 초월한다.
• Chameleon 데이터셋에서 1.5 GNN은 86.94%의 정확도를 기록하여 GCN(84.12%)과 GAT(86.50%)를 뚜렷이 앞선다.
• 다양한 수준의 이형성 존재를 가진 합성 cSBM 데이터셋에서 p GNN은 모든 설정에서 높은 성능 유지를 보이며, 그래프 구조 변화에 대한 강건성을 입증한다.
• 노이즈 간선 실험에서 p GNN은 완전히 무작위 그래프에서도 MLP와 동등한 성능을 보이며, 기존 GNN 모델은 성능이 심각하게 저하된다.
• t-SNE를 통한 시각화 결과, p GNN은 동형성 및 이형성 그래프 양쪽에서 GCN 및 기타 기준 모델보다 더 구분력 있고 잘 분리된 노드 표현을 학습하는 것으로 나타났다.