[논문 리뷰] Rethinking the Power of Graph Canonization in Graph Representation Learning with Stability

Zehao Dong, Muhan Zhang외 6명|arXiv (Cornell University)|2023. 09. 01.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 그래프 캐논라이제이션을 통합하여 유일한 노드 레이블링을 통해 표현력을 극대화하는 Universal Graph Canonization-GNN(UGC-GNN)을 제안한다. 이 방법은 표준 GNN의 1-WL 표현력에 국한되는 문제를 해결하며, 분자, 생물학적 네트워크 및 유전자 네트워크 벤치마크에서 최고 성능을 기록하며 표현력과 모델 안정성의 균형을 유지한다. 성능은 최대 31% 향상되었다.

ABSTRACT

The expressivity of Graph Neural Networks (GNNs) has been studied broadly in recent years to reveal the design principles for more powerful GNNs. Graph canonization is known as a typical approach to distinguish non-isomorphic graphs, yet rarely adopted when developing expressive GNNs. This paper proposes to maximize the expressivity of GNNs by graph canonization, then the power of such GNNs is studies from the perspective of model stability. A stable GNN will map similar graphs to close graph representations in the vectorial space, and the stability of GNNs is critical to generalize their performance to unseen graphs. We theoretically reveal the trade-off of expressivity and stability in graph-canonization-enhanced GNNs. Then we introduce a notion of universal graph canonization as the general solution to address the trade-off and characterize a widely applicable sufficient condition to solve the universal graph canonization. A comprehensive set of experiments demonstrates the effectiveness of the proposed method. In many popular graph benchmark datasets, graph canonization successfully enhances GNNs and provides highly competitive performance, indicating the capability and great potential of proposed method in general graph representation learning. In graph datasets where the sufficient condition holds, GNNs enhanced by universal graph canonization consistently outperform GNN baselines and successfully improve the SOTA performance up to $31\%$, providing the optimal solution to numerous challenging real-world graph analytical tasks like gene network representation learning in bioinformatics.

연구 동기 및 목표

• 표준 GNN의 제한된 표현력 문제를 해결하기 위해, 1-WL 표현력에 국한되어 특정 비동형 그래프를 구분하지 못하는 문제를 해결한다.
• 그래프 캐논라이제이션을 통한 GNN의 표현력과 모델 안정성 간의 상호관계를 탐색하며, 높은 표현력이 일반화 능력을 저해할 수 있음을 고려한다.
• 다양한 그래프 학습 작업에 적용 가능한 확장성 있고 안정적이며 고표현력인 GNN을 가능하게 하는 유니버설 그래프 캐논라이제이션 프레임워크를 개발한다.
• 캐논라이제이션 기반 GNN이 기존의 표현력 있는 아키텍처를 초월하는 강력하고 효율적이며 일반적인 보완 수단이 될 수 있음을 입증한다. 실제 데이터셋에서 뛰어난 성능을 발휘한다.

제안 방법

• 모든 이sovomorphism를 갖는 그래프가 동일한 캐논리컬 형식을 갖도록 보장하는 고유한 이遍역 노드 레이블링 함수 ρ(v|G)를 계산하는 유니버설 그래프 캐논라이제이션 프레임워크를 제안한다. 이 함수는 노드를 1에서 n까지의 정수로 매핑한다.
• 캐논리컬 형식을 GNN 내의 위치 인코딩으로 사용하며, 표준 위치 인코딩 대신 캐논리컬 레이블의 one-hot 인코딩을 사용하여 구조적 구분력을 극대화한다.
• 유니버설 그래프 캐논라이제이션을 위한 충분조건을 도입하여 다양한 그래프 유형에서 캐논리컬 형식을 효율적이고 안정적으로 계산할 수 있도록 한다.
• Nauty 및 기타 효율적인 캐논라이제이션 도구를 활용하여 실용적인 크기의 그래프에서 근접 선형 시간 내에 캐논리컬 형식을 계산함으로써 확장성을 확보한다.
• 캐논리컬 형식을 GNN(예: GIN, GCN)의 입력으로 통합하여 아키텍처의 대대적인 수정 없이도 노드 및 그래프 표현을 향상시킨다.
• 이론적 분석을 통해 표현력과 안정성 간의 상호관계를 규명하며, UGC-GNN는 통제된 캐논리컬 레이블링을 통해 최적의 균형을 달성한다.

실험 결과

연구 질문

• RQ1 그래프 캐논라이제이션은 1-WL을 초월하는 표현력을 GNN에 부여할 수 있으며, 이와 동시에 모델 안정성을 유지할 수 있는가?
• RQ2 캐논라이제이션 기반 GNN에서 표현력과 안정성 간의 이론적 상호관계는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 분자 및 생물학적 네트워크를 포함한 다양한 그래프 유형에 적용 가능한 효율적인 유니버설 그래프 캐논라이제이션 방법이 존재하는가?
• RQ4 UGC-GNN은 기존의 표현력 있는 GNN보다 더 나은 일반화 능력을 보이며, 특히 실제 생물정보학 작업에서 미리 보지 않은 그래프에 대해 더 잘 작동하는가?
• RQ5 대규모 데이터셋에서 UGC-GNN의 계산 비용은 고차수 및 서브그래프 기반 GNN과 비교해 어떻게 되는가?

주요 결과

• UGC-GNN은 다양한 벤치마크 데이터셋에서 최고 성능을 기록하며, 특히 유전자 네트워크 표현 학습에서 SOTA 성능을 31% 향상시켰다.
• 대규모 생물학적 및 분자 그래프(예: Mayo, RosMap, Cancer)에서 UGC-GNN은 평균 에포크당 계산 시간을 각각 13초, 10초, 89초로 줄여 PPGN 및 NGNN를 능가했다.
• PPGN 및 NGNN가 O(n²) 및 O(n³) 공간 복잡도로 인해 메모리 초과(OOM) 문제를 겪는 대규모 그래프에서도 UGC-GNN은 OOM 문제 없이 안정적으로 작동한다.
• 높은 안정성을 유지하여 유사한 그래프를 가까운 벡터 표현으로 매핑함으로써, 미리 보지 않은 그래프로의 일반화 능력을 향상시켰다.
• 유니버설 캐논라이제이션의 충분조건이 성립하는 데이터셋에서는 UGC-GNN이 TransSynergy, SANEpool, Decagon, DimiG를 포함한 모든 GNN 베이스라인을 일관되게 능가했다.
• 이론적 분석을 통해 표현력과 안정성 간의 상호관계를 확인하였으며, UGC-GNN는 통제된 캐논리컬 레이블링을 통해 이를 효과적으로 균형 잡는다.