[논문 리뷰] The expressive power of kth-order invariant graph networks

Floris Geerts|arXiv (Cornell University)|2020. 07. 23.

Advanced Graph Neural Networks참고 문헌 22인용 수 5

한 줄 요약

이 논문은 k차 순환 그래프 네트워크(k-IGNs)가 k차원 Weisfeiler-Leman(k-WL) 그래프 이sovorphism 테스트와 동일한 표현 능력을 지닌다는 것을 입증하며, k-WL보다 더 많은 그래프를 구분할 수 없음을 보여준다. 핵심 결과는 k-IGNs의 표현 능력이 k-WL에 의해 제한됨을 보이며, 이는 모든 k ≥ 2에 대해 그래프 구분 능력에서의 동치성을 의미한다.

ABSTRACT

The expressive power of graph neural network formalisms is commonly measured by their ability to distinguish graphs. For many formalisms, the k-dimensional Weisfeiler-Leman (k-WL) graph isomorphism test is used as a yardstick. In this paper we consider the expressive power of kth-order invariant (linear) graph networks (k-IGNs). It is known that k-IGNs are expressive enough to simulate k-WL. This means that for any two graphs that can be distinguished by k-WL, one can find a k-IGN which also distinguishes those graphs. The question remains whether k-IGNs can distinguish more graphs than k-WL. This was recently shown to be false for k=2. Here, we generalise this result to arbitrary k. In other words, we show that k-IGNs are bounded in expressive power by k-WL. This implies that k-IGNs and k-WL are equally powerful in distinguishing graphs.

연구 동기 및 목표

• k차 순환 그래프 네트워크(k-IGNs)가 k차원 Weisfeiler-Leman(k-WL) 테스트보다 더 많은 그래프를 구분할 수 있는지 여부를 규명하기 위해.
• Maron 등(2019a)이 제기한 k-IGNs의 표현 능력이 k-WL에 비해 어떻게 되는지에 대한 열린 문제를 해결하기 위해.
• k-WL과 관련된 논리적 및 대수적 불변량을 사용하여 k-IGNs의 표현 한계를 체계적으로 기술하기 위해.
• k-IGNs의 아키텍처 설계에도 불구하고, k-WL보다 더 표현력이 뛰어나지 않음을 보여주기 위해.

제안 방법

• 논문은 정점의 k-튜플에서의 등가성 패턴을 사용하여 k-IGNs의 행동을 분석하고 이를 k-WL 반복과 연관지운다.
• 단일 레이어의 k-IGN이 k-WL의 k−1회 반복에 해당함을 증명하며, 레이어와 반복 사이의 대응 관계를 설정한다.
• k-WL 색상 할당을 표현하기 위해 k-튜플에 대한 논리 공식을 사용하며, k-IGNs가 k-WL를 상수 요소의 반복 수만큼 시뮬레이션할 수 있음을 보여준다.
• 트리너비가 제한된 그래프에서의 동형사상 수와 선형 대수 연산자와 같은 불변량을 활용하여 동일시 불가능성을 특성화한다.
• 등가 그래프에서 k-튜플의 k-WL 색상 할당이 크기 측면에서 일치해야 한다는 핵심 보조정리를 증명하며, k-IGNs가 이를 유지해야 한다고 보여준다.
• 논리 공식 내의 존재 기호를 다루기 위해 등가성 패턴 내에서 사용된 상수 클래스의 유무에 따라 경우를 구분한다.

실험 결과

연구 질문

• RQ1 k ≥ 2일 때 k-IGNs는 k-WL보다 더 많은 그래프를 구분할 수 있는가?
• RQ2 k-IGNs와 k-WL 사이에 표현 능력의 엄밀한 계층이 존재하는가, 아니면 서로 동치인가?
• RQ3 k-IGN의 레이어 수와 k-WL의 반복 수 사이의 정확한 관계는 무엇인가?
• RQ4 k-IGNs는 k-WL을 상수 요소를 초월해 시뮬레이션할 수 있는가, 아니면 근본적인 제한이 존재하는가?
• RQ5 k-튜플의 등가성 패턴이 k-IGNs의 표현 능력을 k-WL과 일치시키는 방식으로 제약을 가하는가?

주요 결과

• k-IGNs는 k-WL보다 더 표현력이 뛰어나지 않으며, 모든 k ≥ 2에 대해 그래프 구분 능력에서 k-WL에 의해 제한된다.
• k-IGN의 단일 레이어는 k-WL의 k−1회 반복에 해당하며, 이는 k-WL 대비 수렴 속도에서 로그적 속도 향상을 의미한다.
• k-IGNs의 표현 능력은 정확히 k-WL과 동일하며, 이는 비이sovorphism 그래프 쌍을 동일하게 구분할 수 있음을 의미한다.
• 논문은 k-IGNs가 k-WL의 범위를 초월하는 그래프 성질, 예를 들어 길이 > 2k−1인 사이클이나 일정 크기 이상의 클리크를 탐지할 수 없다고 확인한다.
• 분석 결과, k-IGNs가 트리너비 ≤ k−1인 그래프에서의 동형사상 수와 같은 불변량을 유지하며, 이는 k-WL의 동일시 불가능성을 특성화하는 데 알려져 있다.
• 결과적으로 k-IGNs의 허용된 등가성 패턴에 따라 파arameter화할 수 있으며, 표현 능력과 계산 비용 사이의 트레이드오프를 가능하게 한다.