[논문 리뷰] Characterizing the Expressive Power of Invariant and Equivariant Graph Neural Networks.

Waïss Azizian, Marc Lelarge|arXiv (Cornell University)|2020. 06. 28.

Advanced Graph Neural Networks참고 문헌 32인용 수 9

한 줄 요약

이 논문은 불변성과 동변성 GNN의 표현력을 비교하기 위한 이론적 프레임워크를 제안하며, 실용적인 GNN 아키텍처에 대한 첫 번째 근사 보장을 증명한다. 이는 행렬 곱셈을 활용한 텐서 기반 GNN인 패러다임 GNN(FGNN)을 식별하여 주어진 텐서 순서에서 가장 표현력이 뛰어난 모델임을 입증하며, 이는 기존 방법들보다 NP-난이도의 이차할당문제(Quadratic Assignment Problem)에서 뛰어난 성능을 보인다.

ABSTRACT

Various classes of Graph Neural Networks (GNN) have been proposed and shown to be successful in a wide range of applications with graph structured data. In this paper, we propose a theoretical framework able to compare the expressive power of these GNN architectures. The current universality theorems only apply to intractable classes of GNNs. Here, we prove the first approximation guarantees for practical GNNs, paving the way for a better understanding of their generalization. Our theoretical results are proved for invariant GNNs computing a graph embedding (permutation of the nodes of the input graph does not affect the output) and equivariant GNNs computing an embedding of the nodes (permutation of the input permutes the output). We show that Folklore Graph Neural Networks (FGNN), which are tensor based GNNs augmented with matrix multiplication are the most expressive architectures proposed so far for a given tensor order. We illustrate our results on the Quadratic Assignment Problem (a NP-Hard combinatorial problem) by showing that FGNNs are able to learn how to solve the problem, leading to much better average performances than existing algorithms (based on spectral, SDP or other GNNs architectures). On a practical side, we also implement masked tensors to handle batches of graphs of varying sizes.

연구 동기 및 목표

• 불변성과 동변성 GNN의 표현력을 비교하기 위한 이론적 프레임워크를 개발하는 것.
• 기존의 비가역적 클래스에만 적용 가능한 유니버설리티 정리에 국한된 한계를 해결하기 위해 실용적인 GNN 아키텍처에 대한 근사 보장을 제공하는 것.
• 주어진 텐서 순서에서 가장 표현력이 뛰어난 GNN 아키텍처를 특정하는 것, 특히 FGNN에 초점을 맞추는 것.
• 이차할당문제와 같은 복잡한 조합 최적화 문제에서 FGNN의 실용적 성능을 평가하는 것.
• GNN 구현에서 크기가 다른 그래프를 효율적으로 배치하기 위해 마스킹된 텐서를 사용하는 것.

제안 방법

• 순열 불변성과 동변성을 기반으로 한 이론적 분석 프레임워크를 제안하여 GNN 아키텍처를 비교하는 것.
• 표현력 강화를 위해 행렬 곱셈 연산을 추가한 텐서 기반 GNN으로서 FGNN을 수학적으로 정의하는 것.
• 고정된 텐서 순서 조건 하에서 FGNN에 대한 근사 보장을 수립하여 다른 실용적인 GNN들과의 비교를 가능하게 하는 것.
• 학습 중 크기가 다른 그래프 배치를 효율적으로 처리하기 위해 마스킹된 텐서를 구현하는 것.
• 이차할당문제(QAP)에 FGNN을 적용하여 해 히ュ리스틱을 학습하는 것.
• QAP 벤치마크에서 스펙트럴 방법, 준정적계획형식(SDP), 다른 GNN 아키텍처와의 성능을 FGNN과 비교하는 것.

실험 결과

연구 질문

• RQ1 실용적인 모델들 중에서 주어진 텐서 순서에서 가장 높은 표현력을 갖는 GNN 아키텍처는 무엇인가요?
• RQ2 비가역적 유니버설 클래스에만 적용 가능한 이론적 근사 보장이 실세계 GNN 아키텍처에도 확장될 수 있을까요?
• RQ3 FGNN은 이차할당문제와 같은 NP-난이도 조합 최적화 문제에 얼마나 잘 일반화되고 해결할 수 있나요?
• RQ4 마스킹된 텐서 사용이 크기가 다른 그래프 배치에서 GNN 학습의 효율성과 확장성에 어떤 영향을 미치나요?
• RQ5 복잡한 최적화 과제에서 FGNN의 표현력은 기존 GNN 및 비-GNN 방법과 비교해 어떻게 평가될 수 있나요?

주요 결과

• FGNN은 실용적인 모델들 중에서 주어진 텐서 순서에서 가장 표현력이 뛰어난 GNN 아키텍처로 입증되었다.
• 기존 알고리즘, 즉 스펙트럴 방법, 준정적계획형식(SDP), 다른 GNN 기반 방법들과 비교해 FGNN은 이차할당문제에서 평균적으로 훨씬 뛰어난 성능을 보였다.
• FGNN에 대해 이론적 근사 보장을 수립하였으며, 이는 비가역적 GNN 클래스에만 적용 가능한 유니버설리티 정리의 범위를 초월한 것이다.
• 마스킹된 텐서는 크기가 다른 그래프를 효율적으로 배치할 수 있게 하여 실세계 그래프 데이터에 대한 학습 효율성을 향상시켰다.
• 표현력이 뛰어난 GNN 아키텍처인 FGNN이 복잡한 조합 최적화 문제를 효과적으로 해결할 수 있도록 학습할 수 있음을 결과가 입증하였다.
• 표현력의 체계적 비교를 통해 실용적인 GNN의 일반화를 이해하는 데 기초를 제공하였다.