[논문 리뷰] On the equivalence between graph isomorphism testing and function approximation with GNNs

Zhengdao Chen, Soledad Villar외 2명|arXiv (Cornell University)|2019. 05. 29.

Advanced Graph Neural Networks인용 수 98

한 줄 요약

이 논문은 GNN의 비동일 그래프 구별 능력과 그래프에서의 순열 불변 함수의 보편 근사 능력 사이의 동등성을 증명하고, GNN 표현력을 비교하기 위한 시그마 대수 프레임워크를 도입하며, 2-IGN의 확장을 통해 특정 규칙 그래프를 구별하는 Ring-GNN을 제안한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved much success on graph-structured data. In light of this, there have been increasing interests in studying their expressive power. One line of work studies the capability of GNNs to approximate permutation-invariant functions on graphs, and another focuses on the their power as tests for graph isomorphism. Our work connects these two perspectives and proves their equivalence. We further develop a framework of the expressive power of GNNs that incorporates both of these viewpoints using the language of sigma-algebra, through which we compare the expressive power of different types of GNNs together with other graph isomorphism tests. In particular, we prove that the second-order Invariant Graph Network fails to distinguish non-isomorphic regular graphs with the same degree. Then, we extend it to a new architecture, Ring-GNN, which succeeds in distinguishing these graphs and achieves good performances on real-world datasets.

연구 동기 및 목표

• GNN 표현력의 두 관점(그래프 동형성 테스트와 불변 함수 근사)을 연결한다.
• GNN 변형과 테스트를 비교하기 위해 시그마-대수로 표현력을 형식화한다.
• 동일 차수의 비동형 규칙 그래프에서 2-IGN의 한계를 보여준다.
• 2-IGN보다 표현력을 강화하는 실용적 확장으로 Ring-GNN를 제안한다.

제안 방법

• 그래프 공간에서 GIso-구별 가능 함수군과 보편 근사 함수를 정의한다.
• 보편 근사성이 GIso-구별을 함의하고, 역으로 GIso-구별에 증강을 더하면 보편 근사(유한 및 연속 특징 공간)로 이어진다를 보인다.
• 함수 계열에 의해 생성된 시그마-대수로 표현력을 특징지어 그래프 동형 분류에 관련시키는 특성화.
• 2-IGN의 한계(일부 비동형 규칙 그래프를 구별하지 못함)를 시연하고, 불변 행렬 연산의 링을 활용해 이를 극복하는 Ring-GNN를 도입한다.
• 높은 차수 텐서 GNN 없이도 순열-등가 선형 맵과 비선형을 결합한 계층으로 Ring-GNN의 실용적 아키텍처를 제공하여 더 높은 차수 상호작용을 포착한다.

실험 결과

연구 질문

• RQ1 모든 비동형 그래프를 구별할 수 있을 정도로 어떤 클래스의 순열-불변 그래프 함수가 invariant 함수의 보편 근사를 할 수 있는가?
• RQ2 함수 계열에 의해 생성된 시그마-대수가 다양한 GNN 아키텍처의 표현력을 어떻게 정량화하고 비교할 수 있는가?
• RQ3 Ring-GNN으로 2-IGN의 규칙 그래프에 대한 한계를 뛰어넘을 수 있는가?
• RQ4 Ring-GNN의 표현력을 높일 때 고차원 GNN보다 실용적 계산적 트레이드오프는 무엇인가?
• RQ5 동형성 테스트로서의 평가와 함수 근사기로서의 평가에서 합성(CSL) 및 실제 데이터에서 GNN의 성능은 어떠한가?

주요 결과

• 함수 계열의 보편성은 GIso-구별을 함의하고, 역으로 증강된 GIso-구별은 유한 공간에서 보편 근사를 제공한다.
• 시그마-대수 프레임워크는 함수 계열의 표현력을 생성된 시그마-대수의 미세성에 대응시키며, 이를 통해 GNN 변형 간의 형식적 비교가 가능해진다.
• 2-IGN은 같은 차수의 비동형 그래프를 구별하지 못하는 한계를 가진다.
• Ring-GNN은 불변 행렬의 링에 기반한 확장으로 2-IGN이 구별하지 못하는 CSL 그래프 쌍을 구별할 수 있어 표현력이 증가한다.
• Ring-GNN은 CSL 분류 및 다수의 실제 데이터(IMDB, COLLAB, MUTAG, PTC, PROTEINS)에서 2-IGN에 비해 경쟁력 또는 우수한 성능을 달성하며, 경우에 따라 GIN보다 일치하거나 우수하다.
• Ring-GNN 아키텍처는 고차 텐서 GNN에 비해 실용적 복잡도(O(n^2.38) 수준)를 유지하면서도 고차 상호작용을 가능하게 한다.