[논문 리뷰] On the equivalence between graph isomorphism testing and function approximation with GNNs

Zhengdao Chen, Soledad Villar외 2명|arXiv (Cornell University)|2019. 05. 29.

Advanced Graph Neural Networks참고 문헌 29인용 수 37

한 줄 요약

논문은 GNN의 비동일 그래프를 구분하는 능력과 그래프에서의 순열 불변 함수들을 보편적으로 근사하는 능력 사이의 동등함을 보이고, GNN 표현력을 비교하기 위한 시그마-대수 프레임워크를 도입하며, 2-IGN의 tractable 확장으로서 Ring-GNN을 제안한다. Ring-GNN은 2-IGN이 할 수 없었던 특정 정규 그래프를 구분한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved much success on graph-structured data. In light of this, there have been increasing interests in studying their expressive power. One line of work studies the capability of GNNs to approximate permutation-invariant functions on graphs, and another focuses on the their power as tests for graph isomorphism. Our work connects these two perspectives and proves their equivalence. We further develop a framework of the expressive power of GNNs that incorporates both of these viewpoints using the language of sigma-algebra, through which we compare the expressive power of different types of GNNs together with other graph isomorphism tests. In particular, we prove that the second-order Invariant Graph Network fails to distinguish non-isomorphic regular graphs with the same degree. Then, we extend it to a new architecture, Ring-GNN, which succeeds in distinguishing these graphs and achieves good performances on real-world datasets.

연구 동기 및 목표

• 그래프 동형 검사와 불변 함수 근사를 통한 GNN 표현력의 통일된 시각을 제시한다.
• GNN 변형들을 표현력으로 비교·분류하기 위한 시그마-대수 프레임워크를 개발한다.
• 2-IGN의 비동일성 그래프에서의 한계점을 보이고 Ring-GNN을 통해 보다 계산적으로 tractable하고 표현력이 높은 대안을 제시한다.
• 합성 CSL 그래프와 실제 데이터셋에서 Ring-GNN의 우수한 성능을 입증하는 경험적 근거를 제공한다.

제안 방법

• 그래프 공간에서 GIso-구분 가능 함수 클래스와 보편적 근사 함수 클래스를 정의한다.
• 유한 및 연속 특성 공간에 대해 GIso-구분과 보편적 근사 간의 동등성을 증명한다.
• GNN들을 비교하고 그래프 동형성 테스트를 분류하기 위한 시그마-대수 기반 분류 체계를 도입한다.
• 2-IGN이 특정 정규 그래프를 구분하지 못하는 한계를 확인하고, 부가적으로 합과 곱에 불변 행렬의 고리를 사용하는 Ring-GNN을 구성하여 이를 극복한다.
• 계층적 선형 동등 맵과 최종 순열 불변 읽기(section)을 갖는 Ring-GNN 아키텍처를 기술한다.
• 계산 복잡도를 분석하고 Ring-GNN이 고차원 k-IGN보다 더 tractable하게 특정 고차 상호작용을 표현할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 GNN의 비동일 그래프 구분 능력이 모든 순열 불변 그래프 함수를 근사하는 능력과 동등한가?
• RQ2 시그마-대수는 서로 다른 GNN 아키텍처의 표현력을 formalize하고 비교하는 데 어떤 역할을 하는가?
• RQ3 Invariant 연산자의 링으로 2-IGN을 확장하는 것이 과도한 텐서 차수 없이 표현력을 증가시키는가?
• RQ4 Ring-GNN은 2-IGN이 구분하지 못하는 비동일한 정규 그래프를 구분하고 실제 데이터셋에서도 성능이 좋은가?

주요 결과

• 순열 불변 함수 클래스의 보편성은 유한한 특성 공간과 연속 특성 공간 모두에서 GIso-구분과 동치다.
• 시그마-대수 관점은 GNN과 동형성 테스트를 비교하는 형식적 계층 구조를 제공하며, 최대 표현력은 sigma(C) = sigma(Q)와 대응한다.
• 2-IGN은 같은 차수의 비동일한 정규 그래프를 구분할 수 없다(예: CSL 그래프).
• Ring-GNN은 불변 연산자의 링(행렬의 덧셈/곱)을 활용해 2-IGN이 실패하는 특정 정규 그래프를 구분할 수 있도록 확장하며, CSL 그래프와 여러 실제 데이터셋에서 강력한 실험적 성능을 달성한다.
• Ring-GNN은 고차 k-IGN에 비해 계산 규모가 우호적(O(n^2.38) 정도)이며, 스펙트럼 기반 보강과의 호환성도 갖춘다.