[논문 리뷰] Reconstruction for Powerful Graph Representations

Leonardo Cotta, Christopher Morris외 1명|arXiv (Cornell University)|2021. 10. 01.

Advanced Graph Neural Networks참고 문헌 100인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNN)의 표현력을 크게 향상시키면서도 순열 불변성을 유지하기 위해 k-정점 부분그래프에서 그래프를 재구성하는 방식의 새로운 프레임워크인 k-재구성 GNN을 제안한다. 이 방법은 기존에 해결되지 못했던 일곱 가지 그래프 성질 문제를 해결할 수 있으며, 실제 응용 분야의 9개 벤치마크에서 최대 25% 향상된 성능을 보이며 이론적 표현력과 실용적 확장성 모두를 입증한다.

ABSTRACT

Graph neural networks (GNNs) have limited expressive power, failing to represent many graph classes correctly. While more expressive graph representation learning (GRL) alternatives can distinguish some of these classes, they are significantly harder to implement, may not scale well, and have not been shown to outperform well-tuned GNNs in real-world tasks. Thus, devising simple, scalable, and expressive GRL architectures that also achieve real-world improvements remains an open challenge. In this work, we show the extent to which graph reconstruction -- reconstructing a graph from its subgraphs -- can mitigate the theoretical and practical problems currently faced by GRL architectures. First, we leverage graph reconstruction to build two new classes of expressive graph representations. Secondly, we show how graph reconstruction boosts the expressive power of any GNN architecture while being a (provably) powerful inductive bias for invariances to vertex removals. Empirically, we show how reconstruction can boost GNN's expressive power -- while maintaining its invariance to permutations of the vertices -- by solving seven graph property tasks not solvable by the original GNN. Further, we demonstrate how it boosts state-of-the-art GNN's performance across nine real-world benchmark datasets.

연구 동기 및 목표

• 기본 GNN의 표현력이 제한되어 있어 사이클 그래프나 강한 정규 그래프와 같은 특정 그래프 클래스를 구분하지 못하는 문제를 해결한다.
• k-WL 또는 이somorphism 테스트 기반 기존 표현력 있는 GNN 아키텍처의 확장성과 구현 난이도 문제를 극복한다.
• 그래프 재구성 방식을 인덕티브 바이어스로 삼아 실용적이고 확장 가능하며 이론적으로 타당한 GNN 향상 방법을 개발한다.
• 정점 제거에 대한 불변성을 만족할 때 재구성 방식이 낮은 분산의 위험 추정기로 작용하여 일반화 성능을 향상시킨다는 것을 입증한다.
• 재구성 추측을 활용하여 이소모르피즘 테스트에 의존하지 않고도 보편 근사기를 설계함으로써 그래프 이론과 표현 학습을 연결한다.

제안 방법

• k-정점 부분그래프에서 유도된 부분그래프로부터 그래프를 재구성하는 표현력 있는 GNN 클래스인 k-재구성 신경망(k-RNN)을 제안한다.
• 기존의 어떤 GNN 아키텍처이든 부분그래프 재구성 기능을 통합하여 성능을 향상시킬 수 있는 일반 목적의 방법으로 k-재구성 GNN을 도입한다.
• 재구성 추측을 이론적 기반으로 삼아 k-재구성 GNN이 유한 크기의 특성 부여된 그래프에 대해 보편 근사를 달성함을 증명한다.
• 완전한 이소모르피즘 테스트보다 메모리와 계산 비용을 줄이는, 부분그래프를 추출하여 학습하는 기울기 하강 가능한 확장 가능한 학습 절차를 설계한다.
• 정점 제거에 따른 정점 표현 변화를 이용해 직경, 스펙트럼 반경 등 전역 그래프 성질을 재구성하는 신호로 활용한다.
• GNN 레이어에서 대칭적 집합을 통해 부분그래프 표현이 순서에 민감하지 않도록 하여 순열 불변성을 유지한다.

실험 결과

연구 질문

• RQ1 k-정점 부분그래프에서의 그래프 재구성 방식이 GNN의 표현력을 향상시키는 강력한 인덕티브 바이어스가 될 수 있는가?
• RQ2 1-WL과 2-WL이 분리하지 못하는 그래프 클래스, 예를 들어 사이클 그래프나 강한 정규 그래프와 같은 경우에 k-재구성 GNN이 얼마나 잘 분류할 수 있는가?
• RQ3 재구성 방식은 정점 제거에 대한 불변성을 만족할 때 실제 그래프 학습 작업에서 일반화 성능을 어떻게 향상시키는가?
• RQ4 이미 존재하는 GNN 아키텍처에 재구성 방식을 통합할 수 있는가? 이때 확장성과 순열 불변성은 유지되는가?
• RQ5 학습 중 부분그래프 샘플링을 통해 정확한 재구성과 비교했을 때 성능 유지는 유지되면서 계산 비용을 줄일 수 있는가?

주요 결과

• k-재구성 GNN은 기존 GNN이 해결하지 못하는 일곱 가지 합성 그래프 성질 문제—예를 들어 사이클 탐지, 직경 추정 등—을 성공적으로 해결한다.
• 이 방법은 실제 9개의 벤치마크 데이터셋에서 최대 25% 향상된 성능을 보이며, 분자의 성질 예측, 사회망 분석 등 다양한 작업에서 일관된 성능 향상을 보인다.
• 부분그래프 샘플링(예: 15개의 부분그래프)을 사용한 (n-1)-재구성 GNN은 정확한 모델 대비 학습 손실과 수렴 속도가 21% 이내로 유지되며, 그래프 크기에 관계없이 고정된 GPU 메모리 사용량을 유지한다.
• 기본 그래프 생성 분포가 정점 제거에 대해 불변일 경우 재구성 방식이 낮은 분산의 위험 추정기로 작용하여 일반화 성능을 향상시킨다.
• k-재구성 GNN은 Ring-GNN, PPGN, Positional GIN과 달리 모든 테스트된 그래프 성질 문제를 해결하면서도 순열 불변성을 유지한다.
• 이 방법은 고비용의 이소모르피즘 테스트와 고정 크기의 무특성 그래프 제약을 피함으로써, 유한 크기의 특성 부여된 그래프에 대해 확장 가능한 보편 근사를 가능하게 한다.