[논문 리뷰] How hard is to distinguish graphs with graph neural networks?

Andreas Loukas|arXiv (Cornell University)|2020. 05. 13.

Advanced Graph Neural Networks참고 문헌 51인용 수 12

한 줄 요약

이 논문은 메시지 전달 신경망(MPNNs)에서 정보 교환을 측정하는 데 통신 용량을 도입하며, 그래프를 구분하기 위해 MPNN의 용량이 나무에서는 선형적으로, 일반적인 연결 그래프에서는 이차적으로 증가해야 한다고 보여준다. 12개의 작업과 420개의 네트워크를 통해 실증적으로 검증된 이론적 한계는 이론적 예측과 실제 성능 간의 강력한 일치를 보이며, 이전 연구를 뛰어넘는 날카운, 일반화 가능한 MPNN 표현력의 한계를 제공한다.

ABSTRACT

A hallmark of graph neural networks is their ability to distinguish the isomorphism class of their inputs. This study derives hardness results for the classification variant of graph isomorphism in the message-passing model (MPNN). MPNN encompasses the majority of graph neural networks used today and is universal when nodes are given unique features. The analysis relies on the introduced measure of communication capacity. Capacity measures how much information the nodes of a network can exchange during the forward pass and depends on the depth, message-size, global state, and width of the architecture. It is shown that the capacity of MPNN needs to grow linearly with the number of nodes so that a network can distinguish trees and quadratically for general connected graphs. The derived bounds concern both worst- and average-case behavior and apply to networks with/without unique features and adaptive architecture -- they are also up to two orders of magnitude tighter than those given by simpler arguments. An empirical study involving 12 graph classification tasks and 420 networks reveals strong alignment between actual performance and theoretical predictions.

연구 동기 및 목표

• MPNN의 그래프 이somorphism 클래스를 구분하는 데 있어 기본적인 한계를 이해하는 것.
• 깊이, 너비, 메시지 크기, 글로벌 상태를 고려한 MPNN에서 정보 교환 용량의 일반적이고 날카운 측정법을 개발하는 것.
• 익명 및 비익명 MPNN을 포함한 적응형 아키텍처까지 적용 가능한 그래프 이somorphism 분류의 딱지 결과를 수립하는 것.
• 이론과 실천을 연결하기 위해 12개의 그래프 분류 작업에서 이론적 예측을 실증 결과로 검증하는 것.

제안 방법

• MPNN의 순방향 전파 동안 총 정보 교환을 측정하는 데 사용되는 통신 용량을 도입하며, 이는 깊이, 너비, 메시지 크기, 그래프 컷-구조에 따라 달라진다.
• 통신 복잡도 이론을 적용하여 그래프 이somorphism 클래스를 결정하기 위해 필요한 정보의 하한을 유도한다.
• 기존의 최악의 경우에만 유효한 경계를 넘어서, 입력 분포에 대한 기대값에 대해서도 유효한 경계를 도출하기 위한 새로운 기법을 사용한다.
• 이론적 용량과 실제 성능 간의 일치를 테스트하기 위해 12개의 그래프 분류 작업에서 420개의 MPNN을 실증적으로 평가한다.
• 정보 이론적 레마를 사용하여 통신 용량과 이somorphism 테스트에서 오차 확률 사이의 부등식을 유도한다.
• 글로벌 상태와 적응형 아키텍처를 고려함으로써 이전 결과를 일반화하여 현대의 MPNN 변종에 적용 가능한 경계를 만든다.

실험 결과

연구 질문

• RQ1 MPNN이 나무를 구분하기 위해 필요한 최소 통신 용량은 얼마인가?
• RQ2 MPNN이 일반적인 연결 그래프를 구분하기 위해 필요한 최소 통신 용량은 얼마인가?
• RQ3 다양한 그래프 분류 작업에서 MPNN 용량에 대한 이론적 경계와 실제 성능 간의 비교는 어떻게 되는가?
• RQ4 통신 복잡도 이론은 이전 접근 방식보다 더 날카우고 일반적인 MPNN 표현력 경계를 제공할 수 있는가?
• RQ5 필요한 용량은 노드 수에 따라 선형으로 증가하는가, 이차적으로 증가하는가? 이는 평균적인 입력 분포에서도 성립하는가?

주요 결과

• 나무를 구분하기 위해 MPNN는 노드 수에 비례하여 선형적으로 증가하는 통신 용량이 필요하며, 이 경계는 최악의 경우뿐 아니라 평균적인 입력 분포에서도 유효하다.
• 일반적인 연결 그래프를 구분하기 위해 MPNN의 용량은 노드 수의 제곱만큼 증가해야 하며, 이는 이somorphism 구분을 보장한다.
• 유도된 경계는 깊이-너비 곱 분석과 같은 단순한 접근 방식보다 최대 두 자릿수 날카럽다.
• 실증 결과는 12개의 그래프 분류 작업과 420개의 학습된 네트워크에서 이론적 통신 용량 예측과 실제 테스트 정확도 사이에 강력한 일치를 보였다.
• 이 프레임워크는 고유한 노드 특징, 글로벌 상태, 적응형 아키텍처 유무에 관계없이 MPNN에 일반적으로 적용 가능하다.
• 분석 결과, 용량 요구는 최악의 경우에만 필요한 것이 아니라 자연스러운 입력 분포 하에서도 높은 확률로 성립함을 밝혀냈다.