[논문 리뷰] How hard is graph isomorphism for graph neural networks

Andreas Loukas|arXiv (Cornell University)|2020. 05. 13.

Advanced Memory and Neural Computing참고 문헌 3인용 수 2

한 줄 요약

이 논문은 메시지 전달 신경망(MPNNs)에서 그래프 이sov머피즘의 기본적인 난이도 한계를 규명하여, 트리의 경우 통신 용량이 선형으로, 일반 연결 그래프의 경우 이차적으로 증가해야 이sov머피즘 클래스를 구별할 수 있음을 보여준다. 이론적 경계는 420개의 네트워크와 12개의 작업을 통해 강력하게 경험적 성능과 일치한다.

ABSTRACT

A hallmark of graph neural networks is their ability to distinguish the isomorphism class of their inputs. This study derives the first hardness results for graph isomorphism in the message-passing model (MPNN). MPNN encompasses the majority of graph neural networks used today and is universal in the limit when nodes are given unique features. The analysis relies on the introduced measure of communication capacity. Capacity measures how much information the nodes of a network can exchange during the forward pass and depends on the depth, message-size, global state, and width of the architecture. It is shown that the capacity of MPNN needs to grow linearly with the number of nodes so that a network can distinguish trees and quadratically for general connected graphs. Crucially, the derived bounds are applicable not only to worst-case instances but over a portion of all inputs. An empirical study involving 12 tasks of varying difficulty and 420 networks reveals strong alignment between actual performance and theoretical predictions.

연구 동기 및 목표

• 그래프 표현 학습의 핵심 문제인 그래프 이sov머피즘을 해결하는 데 있어 그래프 신경망(GNNs)의 이론적 한계를 이해하는 것.
• MPNNs가 그래프의 이sov머피즘 클래스를 구별하기 위해 필요한 최소 통신 용량을 규명하는 것.
• 이론적 용량 경계가 최악의 경우에만 유효한 것이 아니라, 입력 그래프의 상당 부분에 대해서도 성립하는지 분석하는 것.
• 다양한 그래프 학습 작업을 대상으로 한 대규모 경험적 연구를 통해 이론적 예측을 검증하는 것.

제안 방법

• MPNNs의 전방향 프로퍼게이션 동안 노드 간 정보 교환의 총량으로 정의된 새로운 척도인 통신 용량을 도입한다.
• 트리와 일반 연결 그래프에서 이sov머피즘 클래스를 구별하기 위해 MPNNs가 필요로 하는 통신 용량의 이론적 하한을 유도한다.
• 네트워크 깊이, 메시지 크기, 글로벌 상태, 너비를 함수로 표현한 용량을 정의하여, 트리의 경우 선형으로, 일반 그래프의 경우 이차적으로 증가해야 함을 보여준다.
• 유일한 노드 특성을 가진 유니버설 메시지 전달 프레임워크에서 MPNNs를 분석하기 위해 용량 모델을 적용한다.
• 420개의 서로 다른 MPNN 아키텍처를 사용하여 12개의 다양한 그래프 학습 작업에서 경험적 평가를 수행하여 이론적 예측과의 일치를 검증한다.
• 깊이, 너비, 메시지 크기, 글로벌 상태가 다양한 아키텍처에서의 성능을 측정하여 용량 기반 예측을 검증한다.

실험 결과

연구 질문

• RQ1 트리에서 MPNNs가 이sov머피즘 클래스를 정확히 구별하기 위해 필요한 최소 통신 용량은 얼마인가?
• RQ2 일반 연결 그래프의 경우 트리와 비교해 통신 용량이 어떻게 스케일링되는가?
• RQ3 이론적 용량 경계가 최악의 경우에만 유효한 것이 아니라, 입력 그래프의 대표적인 부분에 대해서도 성립하는가?
• RQ4 다양한 그래프 학습 작업 전반에서 예측된 통신 용량이 실제 MPNN 성능과 어느 정도 상관이 있는가?

주요 결과

• 트리에서 MPNNs가 이sov머피즘 클래스를 구별할 수 있도록 하기 위해 통신 용량은 노드 수에 따라 선형으로 증가해야 한다.
• 일반 연결 그래프의 경우, 이sov머피즘 구별을 달성하기 위해 통신 용량은 노드 수에 따라 이차적으로 증가해야 한다.
• 이론적 용량 경계는 최악의 인스턴스에만 국한되지 않고, 입력 그래프의 상당 부분에 대해서도 적용된다.
• 12개의 작업과 420개의 네트워크를 대상으로 한 경험적 결과는 예측된 MPNN 성능과 관측된 성능 간 강력한 일치를 보여준다.
• 연구는 MPNNs가 그래프 이sov머피즘을 해결할 수 있는 능력이 단지 아키텍처의 깊이나 너비에 의해 제한되는 것이 아니라, 핵심적으로 통신 용량에 의해 제한됨을 확인한다.
• 용량 기반 이론적 프레임워크는 이sov머피즘 관련 작업에서 MPNN 성능을 예측하는 데 유용한 모델을 제공한다.